读API
说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":1,"list":[/需要提取的数组 {"name":{"firstName":"Alice","lastName":"Brown"},"age":22,"email":...
数据脱敏
提取水印 如果对分发的数据添加水印，当信息泄露时，您可以从泄露的数据中提取水印标识。通过读取水印标识，可以追溯数据流转过程，精准定位泄露单位及责任人，实现数据溯源追责。对分发的数据添加水印，不会影响分发数据的正常使用。仅...
ARRAY_EXCEPT
找出在ARRAY数组 a 中，但不在ARRAY数组 b 中的元素，并去掉重复的元素后，返回新的ARRAY数组。命令格式 array<T>array_except(array<T><a>,array<T><b>)参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中...
ARRAYS_OVERLAP
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
ARRAY_DISTINCT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回ARRAY类型。返回规则如下：新ARRAY数组无重复元素且元素顺序与 a 中的元素顺序保持一致。ARRAY数组 a 中存在元素为NULL时，NULL值会参与运算。输入...
ARRAY_MAX
计算ARRAY数组 a 中的最大元素。命令格式 T array_max(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ARRAY_MIN
计算ARRAY数组 a 中的最小元素。命令格式 T array_min(array<T><a>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL...
ALL_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
ANY_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
ZIP_WITH
array、array中的 T、S 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。combiner：必填。用于合并ARRAY数组 a、b 中元素的函数（内置函数或自定义函数）或表达式。它的两个输入参数类型分别与ARRAY数组 a、b 中元素的数据类型...
ARRAYS_ZIP
array及 array中的 T 和 U 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、...
ARRAY_INTERSECT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 的数据类型必须保持一致。返回值说明 返回ARRAY类型。返回规则如下：ARRAY数组中存在元素为NULL时，NULL值会参与运算。新ARRAY数组无重复元素且元素顺序与 a...
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func...
ARRAY_UNION
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
SIZE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。MAP对象。map,V>中的 K、V 指代MAP对象的Key、Value。返回值说明 返回INT类型。使用示例 示例1：计算ARRAY数组 array('a','b')中的元素数目。命令示例如下...
TRANSFORM
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行转换的函数（内建函数或自定义函数）或表达式，其输入类型应与 a 中的元素类型一致。R 指代输出结果的数据类型。返回值说明 返回...
CONCAT
将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组，或将多个字符串连接在一起，生成一个新的字符串。命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组...
MAP_FROM_ARRAYS
array中的 K 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。ARRAY数组。对应生成MAP的Value值。array中的 V 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回MAP类型。返回规则如下：如果...
ARRAY_REDUCE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。init：必填。用于聚合的中间结果的初始值。merge：必填。将ARRAY数组 a 中的每一个元素与中间结果进行运算的函数（内建函数或自定义函数）或表达式。它的两个输入...
用自然语言实时查看BI报表
背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，简称 NL2SQL）能力。PolarDB for AI会将用户输入的自然语言（中文或英文）自动...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
SLICE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。start：必填。切片起点，从1开始，表示从数组的首个元素开始向右切片。start 可以为负数，表示从数组的末尾元素开始向右切片。length：必填。切片长度，必须大于或...
查询和分析JSON日志的常见问题
json_extract函数和json_extract_scalar函数都是用于从JSON对象或JSON数组中提取内容，用法类似，主要区别如下：json_extract函数的返回值是JSON类型，json_extract_scalar函数的返回值是varchar类型。说明 此类型是指SQL语法中的数据类型...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
RestAPI（HTTP形式）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 脚本模式配置说明如下：Restapi插件发出http(s)请求后，会获得请求响应body（body是一个json），dataPath用来配置从body中提取数据的json path路径。举2个示例如下：以接口返回...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
函数概览
json_extract函数 从JSON对象或JSON数组中提取一组JSON值（数组或对象）。json_extract_scalar函数 从JSON对象或JSON数组中提取一组标量值（字符串、整数或布尔值）。类似于json_extract函数。json_format函数 把JSON类型转化成字符串类型...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
ARRAY_JOIN
将ARRAY数组 a 中的元素使用 delimiter 拼接为字符串。当数组中元素为NULL时，用 nullreplacement 替代，没有设置 nullreplacement 时，会忽略NULL元素。命令格式 array_join(array<T><a>,[,])参数说明 a：必填。ARRAY数组。array中的 T ...
复杂类型函数
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
JSON类型
jsonb索引 GIN 索引可以被用来有效地搜索在大量 jsonb 文档（数据）中出现的键或者键值对。提供了两种 GIN“操作符类”，它们在性能和灵活性方面做出了不同的平衡。jsonb 的默认 GIN 操作符类支持使用@>、?以及?操作符的查询。使用这种操作...
配置项常见问题
该配置项用于定义一组不同的样式数组，来循环渲染数据中的不同系列。如下图中配置项定义了两个系列，组件会使用['系列1','系列2']的样式，依次循环渲染数据中的 s 字段。常见误区 配置项中的 系列名 为该样式的名称，同时作为图表中图例的...
ARRAY_REMOVE
在ARRAY数组 a 中删除与 element 相等的元素。命令格式 array<T>array_remove(array<T><a>,T)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE ...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
文档修订记录
独享数据服务资源组 独享数据服务资源组计费说明：包年包月 2023.11.21 新增功能 数据保护伞 使用数据保护伞识别敏感数据时，可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种...
数据格式描述文件
键 格式 描述 是否必须 dimensions JSON数组 数据包含的维度。每个维度可以只是个字符串，或者可以额外指明维度的属性。例如“dimensions”:[“dimenssion1”,“dimenssion2”,“{“type”:“long”,“name”:“dimenssion3”}]，默认是...
Elasticsearch数据源
支持提取半结构化到结构化数据 分类 描述 相关文档 产生背景 Elasticsearch中的数据特征为字段不固定，且有中文名、数据使用深层嵌套的形式。为更好地方便下游业务对数据的计算和存储需求，特推出从半结构化到结构化的转换解决方案。实现...
离线同步常见问题
报错现象：如果数据中包括表情符，在同步过程中可能会报错脏数据：[13350975-0-0-writer]ERROR StdoutPluginCollector-脏数据 {"exception":"Incorrect string value:'\\xF0\\x9F\\x98\\x82\\xE8\\xA2.' for column 'introduction' at row ...
- 产品推荐
- 这些文档可能帮助您