新增和使用独享数据服务资源组
网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
Quick BI如何根据排名大小给数据分组
比如：订单量排名前10的为一组，11-20的为一组，21-30的为一组…… 解决方案 Quick BI新交叉表组件可以对数据进行排序，但是无法对排序后的结果分组 如果需要先排名再对排名结果分组，需要通过SQL创建数据集，把排名结果先在SQL里取出来，...
购买与使用独享数据传输服务资源组
数据传输服务资源组 是否开启成默认数据传输服务 说明 default-默认资源组：公共数据传输服务资源组。即该项目下所有发起的数据传输任务都将使用公共数据传输服务资源组，并且不能使用独享资源组。独享资源组 是 默认资源组：独享数据传输...
文档更新动态（2023年）
更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。...
功能更新动态（2023年）
创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
独享数据服务资源组
性能指标 资源组规格 最大每秒请求数（QPS）① 服务可用性（SLA）支持地域 api.s2.small 500 99.95%华南1（深圳）华北2（北京）华东1（杭州）华东2（上海）华北3（张家口）中国（香港）新加坡 api.s2.medium 1000 99.95%api.s2.large 2000 ...
公共数据集成（调试）资源组
公共数据集成（调试）资源组的性能限制 由于公共资源组容量有限，单租户任务并发数最大不超过5并发。已建立存量任务并发限制保持不变。公共数据集成（调试）资源组的其他注意事项 公共数据集成（调试）资源组新建任务不支持跨主账户任务...
为伸缩组中的ECS实例关联云数据库
本教程介绍了为伸缩组中的ECS实例关联云数据库的方法，包括将ECS实例和云数据库加入同一个安全组、为伸缩组关联云数据库和将ECS实例加入云数据库白名单。背景信息 由于伸缩组内ECS实例可能会被自动释放，建议您将应用数据保存到云数据库。...
ARRAY_EXCEPT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 的数据类型必须保持一致。返回值说明 返回ARRAY类型。返回规则如下：新ARRAY数组无重复元素且元素顺序与 a 中的元素顺序保持一致。ARRAY数组中存在元素为...
ARRAY_DISTINCT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回ARRAY类型。返回规则如下：新ARRAY数组无重复元素且元素顺序与 a 中的元素顺序保持一致。ARRAY数组 a 中存在元素为NULL时，NULL值会参与运算。输入...
ARRAYS_OVERLAP
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
ARRAY_MAX
array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、...
ARRAY_MIN
array中的 T 指代ARRAY数组元素的数据类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
新增和使用独享数据集成资源组
附录：切换数据集成资源组 7 查看资源组的使用与排队情况，与资源组的使用率及等待资源的实例数监控。查看资源组使用率与资源组运维监控 使用限制 仅拥有 AliyunBSSOrderAccess 和 AliyunDataWorksFullAccess 权限的用户可以进行购买资源组...
ZIP_WITH
array、array中的 T、S 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。combiner：必填。用于合并ARRAY数组 a、b 中元素的函数（内置函数或自定义函数）或表达式。它的两个输入参数类型分别与ARRAY数组 a、b 中元素的数据类型...
ALL_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
ARRAYS_ZIP
array及 array中的 T 和 U 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、...
ANY_MATCH
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
ARRAY_INTERSECT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 的数据类型必须保持一致。返回值说明 返回ARRAY类型。返回规则如下：ARRAY数组中存在元素为NULL时，NULL值会参与运算。新ARRAY数组无重复元素且元素顺序与 a...
ARRAY_REMOVE
array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、VARCHAR、...
SLICE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。start：必填。切片起点，从1开始，表示从数组的首个元素开始向右切片。start 可以为负数，表示从数组的末尾元素开始向右切片。length：必填。切片长度，必须大于或...
FILTER
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行过滤的函数（内置函数或自定义函数）或表达式，其输入参数类型必须与 a 中元素的数据类型一致，其输出结果数据类型为BOOLEAN。返回...
ARRAY_UNION
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素可以为如下类型：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、...
TRANSFORM
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。func：必填。用于对 a 中元素进行转换的函数（内建函数或自定义函数）或表达式，其输入类型应与 a 中的元素类型一致。R 指代输出结果的数据类型。返回值说明 返回...
SIZE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。MAP对象。map,V>中的 K、V 指代MAP对象的Key、Value。返回值说明 返回INT类型。使用示例 示例1：计算ARRAY数组 array('a','b')中的元素数目。命令示例如下...
DescribeSoarRecordInOutput-获取组件运行时数据
true 表示成功，false 表示失败 inputParams：动作的输入数据，为 JSON 格式，包含字段如下：inputData：动作的具体输入数据 totalSize：动作的输入数据条目数 示例 正常返回示例 JSON 格式 {"RequestId":"372D8B41-AF8D-573A-9B3F-0924950...
ARRAY_POSITION
array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、DOUBLE BOOLEAN DECIMAL、DECIMALVAL DATE、DATETIME、TIMESTAMP、IntervalDayTime、IntervalYearMonth STRING、BINARY、VARCHAR、...
ARRAY_JOIN
array中的 T 指代ARRAY数组元素的数据类型。说明 当ARRAY数组中的元素非STRING类型时，MaxCompute会将非STRING类型元素转换为STRING类型。delimiter：必填。STRING类型。连接ARRAY数组 a 中元素的字符串。nullreplacement：可选。替代NULL...
CONCAT
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素为NULL值时会参与运算。str1、str2：必填。STRING类型。如果输入参数为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则...
MAP_FROM_ARRAYS
array中的 K 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。ARRAY数组。对应生成MAP的Value值。array中的 V 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回MAP类型。返回规则如下：如果...
POSEXPLODE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回表。POSEXPLODE select posexplode(array('a','c','f','b'));返回结果如下。pos|val|+-+-+|0|a|1|c|2|f|3|b|+-+-+相关函数 POSEXPLODE函数属于复杂...
Dataphin周期任务自定义日期补数据，当添加多个业务...
概述 Dataphin周期任务自定义日期补数据，当添加多个业务日期、并发组数为一时，任务是否会按照时间顺序执行补数据。详细信息 目前Dataphin产品不依赖顺序执行，多个业务日期会并发执行补数据任务。适用于 Dataphin
独享数据集成资源组计费说明：包年包月
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
ARRAY_REDUCE
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。init：必填。用于聚合的中间结果的初始值。merge：必填。将ARRAY数组 a 中的每一个元素与中间结果进行运算的函数（内建函数或自定义函数）或表达式。它的两个输入...
复杂类型函数
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
SORT_ARRAY
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。isasc：可选。用于设置排序规则。取值为True（升序）或False（降序）。默认为升序。返回值说明 返回ARRAY类型。NULL值为最小值。使用示例 示例1：例如表 t_array 的...
- 产品推荐
- 这些文档可能帮助您