Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
Apache Nifi
PutSQL：执行上一个Processor生成的SQL语句，将JSON中的元素插入到数据库中。创建数据库和表 登录Hologres实例，并且建立数据库，命名为 demo，详情请参见 创建数据库。创建数据表。使用如下SQL创建数据表，之后会将数据写入该表中。DROP ...
JSON函数
如果这些参数可能返回多个值，则匹配的值将自动包装为一个数组，顺序与生成值的路径相对应，否则返回值为单个匹配值。如果任何参数为NULL或没有路径在文档中找到值，则返回NULL。参数 参数 类型 说明 json_doc String JSON格式的文档。重要...
Flink Table Store与Trino集成
E-MapReduce的Flink Table Store服务支持在Trino中查询数据。本文通过示例为您介绍如何在Trino中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Trino中查询Flink Table Store中的数据。操作步骤...
导入数据
数据条数 customer 15000000 lineitem 600037902 nation 25 orders 150000000 part 20000000 partsupp 80000000 region 5 supplier 1000000 AnalyticDB MySQL导入数据 使用LOAD DATA将dbgen生成的文件导入至 AnalyticDB for MySQL 中。...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
JSON
JSON格式要求 AnalyticDB for MySQL 对JSON数据中的属性键 key 和属性值 value 有如下要求：属性键 key 必须使用双引号（""）将 key 引起来，例如 {"addr":"xyz"} 中的"addr。属性值 value 属性值 value 支持的数据类型为：BOOLEAN、NUMBER...
复杂类型函数
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
JSON_VALUE
使用JSON_VALUE函数，从JSON字符串中提取指定路径的表达式。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持JSON_VALUE函数。语法 VARCHAR JSON_VALUE(VARCHAR content,VARCHAR path)入参 参数 数据类型 说明 content VARCHAR 需要解析的...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
JSON索引（2.0版）
JSON格式要求 在写入数据时，分析型数据库MySQL版对JSON类型数据中的属性键 key 和属性值 value 有以下要求。属性键 key：必须使用双引号（""）将 key 引起来。key 中不能包含点号（.），例如 {"a.b":"value"} 是不合法的JSON格式。属性值 ...
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
Flink Table Store与Spark集成
操作步骤 步骤一：创建Catalog Flink Table Store将数据和元数据都保存在文件系统或对象存储中，存储的根路径由 spark.sql.catalog.tablestore.warehouse 参数指定。如果指定的warehouse路径不存在，将会自动创建该路径；如果指定的...
资产模型
路径/industry/asset/biz/attributes/query 版本 3.0.2 请求参数 入参名称 数据类型 结构类型 是否必须 入参描述 子级参数类型 assetIdentifierList JSON 数组 否 资产标识数组，查询多个资产的基础数据 字符串 assetCodes JSON 数组 否 ...
TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明 expr：必填。说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据...
RENAME TABLE
本文介绍了对表做重命名的方法。语法 RENAME TABLE tbl_name TO new_tbl_name 注意事项 PolarDB-X 1.0 不支持同时RENAME多张表。考虑到稳定性和性能，目前不支持重命名包含...如需重命名索引，请参见 ALTER TABLE 中RENAME INDEX推荐的方法。
Flink全托管
如果期望使用Flink将JSON数据写入Hologres，则在Flink SQL作业中，需要将源表、结果表中的该列都定义为VARCHAR类型，仅在Hologres内部表中将其定义为JSONB类型，示例如下：Hologres创建内部表：message定义为JSONB类型。BEGIN;DROP TABLE ...
区域下钻热力层（v1.x版本）
标注 标注字段：下钻区域的标注字段，需要与地理数据中字段名称匹配。颜色：标注的颜色，请参见 颜色选择器说明 进行修改。阴影色：标注的阴影色。字体：标注的字体。说明 请选择系统中的字体，如果您的系统中没有所选的字体，标注会使用...
逻辑解码（wal2json）
RDS PostgreSQL提供wal2json插件，可以将逻辑日志文件输出为JSON格式供您查看。前提条件 实例为RDS PostgreSQL 10或以上版本。已设置实例参数wal_level=logical。详情请参见 设置实例参数。背景信息 wal2json是逻辑解码插件，使用该插件...
数据表操作
p，-pk 是[{"c":"uid","t":"string"},{"c":"pid","t":"integer"}]数据表主键列，以JSON格式的数组表示。包含如下字段：c（必选）：主键列名称。t（必选）：主键列类型，取值范围为string、integer、binary。opt（可选）：可选配置，取值...
ModifyProtectionModuleRule
调用ModifyProtectionModuleRule修改指定WAF防护功能模块（包括Web入侵防护、数据安全、高级防护、Bot管理、访问控制或限流、白名单等模块）中的规则配置。使用说明 本接口用于修改指定WAF防护功能模块（包括Web入侵防护、数据安全、高级...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
DDL 语法
DDL 基本语句 Sharding DDL 语句 DDL 基本语句 创建数据表 CREATE TABLE IF NOT EXISTS `table_name`(id INTEGER NOT NULL PRIMARY KEY,name VARCHAR(20)NOT NULL,age INTEGER NOT NULL);删除数据表 DROP TABLE table_name;修改数据表/*...
OSS Foreign Table功能概览
功能介绍 OSS Foreign Table支持如下功能：功能 介绍 查询分析OSS数据 您可以通过AnalyticDB PostgreSQL版查询OSS Foreign Table中的数据，也可以对OSS Foreign Table和本地表进行关联分析。查询OSS Foreign Table的数据与查询AnalyticDB ...
归档为CSV或ORC格式
本文介绍了将冷数据归档为CSV或ORC格式的方法，以及将OSS表数据导回至PolarStore的方法。前提条件 归档为 CSV 格式的文件，企业版 集群版本需满足以下要求，您可以通过 查询版本号 来确认集群版本。产品系列为 集群版，且版本为以下版本之...
ST_As3dTiles
将基于sfmesh对象转换为3dtiles瓦片格式并存储到数据库中。语法 boolean ST_As3dTiles(sfmesh sfmesh_object,cstring table_name,cstring options default '{}');返回值 返回值 描述 true 导出成功。false 导出失败。参数 参数名称 描述 ...
自定义开发组件蓝图说明
导入数据接口 在自定义组件中实现蓝图编辑器中 导入数据接口 动作，以数字翻牌器组件的 导入数据接口 动作为例。在使用开发者工具创建完成组件后，打开 index.js 文件。在 index.js 文件中搜索datav字段下的 render 字段。在当前 render ...
ST_As3dTiles
将基于sfmesh对象转换为3dtiles瓦片格式并存储到数据库中。语法 boolean ST_As3dTiles(sfmesh sfmesh_object,cstring table_name,cstring options default '{}');返回值 返回值 描述 true 导出成功。false 导出失败。参数 参数名称 描述 ...
GET_JSON_OBJECT
在一个标准JSON字符串中，按照指定方式抽取指定的字符串。使用说明 GET_JSON_OBJECT函数的作用是在一个标准JSON字符串中，按照JSON PATH抽取指定的字符串。当前函数的入参支持两种类型：入参为JSON类型：基于最新支持的JSON数据类型，采用...
复杂JSON数据加工
多层数组对象嵌套的复杂JSON数据加工 以一个复杂的保护多层数组嵌套的对象为示例，将 users 下的每个对象中的 login_histories 的每个登录信息都拆成一个登录事件。原始日志_source_:192.0.2.1_topic_:content:{"users":[{"name":"user1",...
ModifyProtectionModuleRule-修改WAF防护功能配置规则
修改WAF防护功能的配置规则，如Web入侵防护、数据安全、高级防护、Bot、访问控制、限流、白名单。接口说明 使用说明 本接口用于修改指定 WAF 防护功能模块（包括 Web 入侵防护、数据安全、高级防护、Bot 管理、访问控制或限流、白名单等...
控制台的常见问题
设备属性定义为JSON对象，上报时可使用JSON数组吗？控制台本地定时属性，找不到按星期重复的参数 在功能定义的服务中，“同步”与“异步”有什么区别？设备调试 使用设备调试功能，提示脚本关系不存在 控制台设备调试查看设备上下行消息...
ALTER TABLE
云原生数据仓库AnalyticDB MySQL版 支持通过 ALTER TABLE 修改表结构，包括修改表名、列名、列类型、普通索引、聚集索引、外键索引、分区函数的格式、冷热分层存储策略。本文介绍 ALTER TABLE 语法。语法 ALTER TABLE table_name { ADD ANN...
基于OSS文件自动推断建表
开通OSS服务 创建存储空间 上传数据文件 OSS的my_new_table目录下上传json1.txt、json2.txt、json3.txt三个文件，json1.txt、json2.txt两个文件的结构相同。json1.txt、json2.txt、json3.txt存储的数据分别如下所示。{"id":123,"name":...
导出至OSS
云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版（3.0）中的数据导出到对象存储OSS（Object Storage Service）中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...
文件分析
格式：jsonpaths:[\"$.k2\",\"$.k1\"]strip_outer_array 当导入数据格式为JSON时，strip_outer_array 为true表示JSON数据以数组的形式展现，数据中的每一个元素将被视为一行数据。默认值是false。格式：strip_outer_array:true json_root ...
多元索引数组类型
数据类型映射 数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，同时开启该列的数组属性（即在控制台打开对应列的数组选项或使用SDK将对应列的IsArray设置为true）VARCHAR（主键）MEDIUMTEXT（预定义列）创建...
SQL表达式
上报的JSON数据格式，可以是数组或者嵌套的JSON。SQL语句支持使用JSONPath获取其中的属性值，如对于 {a:{key1:v1,key2:v2}}，可以通过 a.key2 获取到值 v2。使用变量时，需要注意单双引号区别：单引号表示常量，双引号或不加引号表示变量。...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
基础使用
本文为您介绍E-MapReduce中DeltaLake的配置信息及其常用命令的示例。DeltaLake配置信息 EMR中DeltaLake的默认配置信息如下：Spark 2.X环境 spark.sql.extensions io.delta.sql.DeltaSparkSessionExtension Spark 3.X环境 spark.sql....
- 产品推荐
- 这些文档可能帮助您