TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明 expr：必填。说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据...
Delta Lake 快速开始一
delta=spark.read.format("delta").load(deltaPath)events_delta.printSchema()重置数据库%pyspark spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))#注意{}是在pyspark里spark.sql()中使用的变量，参数在.format中指定...
通过数据同步功能同步Kafka至湖仓版（推荐）
如果已存在同名数据库，数据会同步到已存在的数据库中。库名命名规则，详见 使用限制。表名 同步到 AnalyticDB MySQL 的表名称。如果库中不存在同名表，将新建表；如果库中已存在同名表，数据同步会失败。表名命名规则，详见 使用限制。样...
创建Redis表并读取数据
例如，本示例中CSV数据被解析之后形成一个string数组，对应的COLUMN_MAPPING映射到底层这个数组的 index(下标)上：id映射到下标0，name映射到下标1，age映射到下标2。TABLE_MAPPING：值为world_，结合在创建Redis Schema时指定的前缀hello_...
管理数据库资产
添加数据库 您可以参考以下步骤在数据库审计系统中添加要审计的数据库实例。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 资产>资产管理。在 资产管理 页面，单击 添加。说明 您也可以在左侧导航栏单击 ...
JSON
支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及JSON格式构建表的示例如下。CREATE TABLE Orders(orderId INT,product STRING,orderInfo MAP...
如何清理孤立文档
databasesToProcess：待清理孤立文档的数据库名称数组。MongoDB 4.2及以前版本 说明 该脚本用于清理多个Shard节点中 指定数据库下指定集合的孤立文档。如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行...
特定结构化数据函数
原始日志 content:this is not json 加工规则 e_set("json",json_parse(v("content"),default="FFF",restrict=False))加工结果 content:this is not json json:FFF xml_to_json 将xml数据转成JSON数据。函数格式 xml_to_json(source)参数...
使用ROS模板选择和设置对象
资源编排支持通过新增对象数组、元素数组和参数对象对JSON数据进行扩展，增强JSON对象的校验逻辑。对象数组 对象数组为单一对象，数组元素支持所有的ROS模板参数类型。模板示例 ROSTemplateFormatVersion:'2015-09-01' Parameters:...
字符串函数
CONCAT 命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])命令说明 输入为ARRAY数组：将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组。输入为字符串：将多个字符串连接在一起，生成...
支持的数据源
数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 MongoDB Redis PolarDB分布式版 自建数据库：ECS上的自建数据库 有公网IP:Port的自建数据库 通过专线/VPN...
Routine Load
{"category":"a9jadhx","author":"test","price":895} 第二种为JSON数组，数组中可含多条记录。[{"category":"11","author":"4avc","price":895,"timestamp":1589191587 },{"category":"22","author":"2avc","price":895,"timestamp":...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
添加用户和数据源
数据库 输入如要管理的数据库名称，如何创建数据库，请参见 数据库管理。本次快速入门教程使用的示例数据库为 adbpg_dev。数据库用户名 输入数据库用户名，如何创建用户，请参见 创建数据库账号。数据库密码 输入上述数据库用户对应的密码...
OCS与数据库结合使用示例
缓存与数据库相结合使用，是常见的一种应用搭配场景。本文以简单的Java例子，介绍OCS搭配MySQL数据库使用。在程序中添加MySQL数据库的连接信息：/JDBC driver name and database URL static final String JDBC_DRIVER=...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 MaxCompute预置的函数类型如下。函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、...
创建数据库
新建集群 创建账号 设置白名单 说明 新建 云数据库ClickHouse 集群时，系统会自动为 云数据库ClickHouse 集群添加一个名为 ali_dms_group 的白名单分组，并将DMS服务器的IP地址加入该分组中，若自动添加失败需手动添加。DMS服务器不同地域...
构造函数概述
构造函数包括由JSON或数组构造轨迹对象的函数及轨迹追加函数。
构造函数概述
构造函数包括由JSON或数组构造轨迹对象的函数及轨迹追加函数。
使用Kafka（离线与实时）
MaxCompute与Kafka的集成能够提供高效、可靠的数据处理和分析能力，适用于需要实时处理、大规模数据流和复杂数据分析的场景。本文介绍消息队列Kafka版和自建Kafka数据的写入流程，以及自建Kafka数据的写入示例。Kafka数据写入MaxCompute...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
JSON数据从MongoDB迁移至MaxCompute
在数据库内新建用户，用于DataWorks添加数据源。本示例执行如下命令。db.createUser({user:"bookuser",pwd:"123456",roles:["user1"]})新建用户名为 bookuser，密码为 123456，角色为任意拥有访问数据权限的角色。数据准备。将数据上传至...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
JSON数据从MongoDB迁移至MaxCompute
在数据库内新建用户，用于DataWorks添加数据源。本示例执行如下命令。db.createUser({user:"bookuser",pwd:"123456",roles:["user1"]})新建用户名为 bookuser，密码为 123456，角色为任意拥有访问数据权限的角色。数据准备。将数据上传至...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
快速入门
注意 说明 应用中同一配置的数据库应当只被创建一次并保持单例,严格避免重复创建相同配置的数据库实例不同配置的数据库实例可以共存数据库读写操作,数据变化事件和数据库事件的回调返回到数据库被创建时的线程上（需要该线程有 Looper）3.2...
ALTER DATABASE
ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...
CAST
注意其与json_parse和json_format的区别，json_parse只支持合法的JSON STRING转成JSON，而且可以转成JSON OBJECT，而cast(string as json)可以将任意STRING转成JSON STRING，JSON类型是STRING。cast(null as json)：将NULL值转换为JSON类型...
创建数据库
您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库...，然后通过CREATE DATABASE语句创建数据库...
JSON函数和操作符
json 和 jsonb 操作符 json->integer→json jsonb->integer→jsonb 提取JSON数组的第 n 个元素（数组元素从0开始索引，但负整数从末尾开始计数）。'[{"a":"foo"},{"b":"bar"},{"c":"baz"}]':json->2→{"c":"baz"} '[{"a":"foo"},{"b":"bar...
文件分析
云数据库 SelectDB 版 支持表函数功能TVF（Table-Value-Function），可以将S3、HDFS等常见远端存储中的文件数据，映射成 云数据库 SelectDB 版 中的表，从而对这些文件数据进行分析。S3表函数 S3表函数可以让您像访问关系型数据库一样，...
CREATE DATABASE
本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
pg_database
目录 pg_database 存储有关可用数据库的信息。数据库通过CREATE DATABASE命令创建。和大部分系统目录不同，pg_database 是在集簇的所有数据库之间共享的：在一个集簇中只有一份 pg_database 拷贝，而不是每个数据库一份。列名称 列类型 ...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
- 产品推荐
- 这些文档可能帮助您