通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用...DataWorks中字段标准的创建操作请参见 字段标准。
数据集常见问题
是否支持将云数据库的数据集切换到自建数据库？数据集显示问题 数据集默认显示多少条数据？数据集的数据支持分页吗？新建字段为何无法在右侧显示？在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载...
创建单物理表服务单元
配置数据源中字段映射到服务单元中的字段名称，您可以根据业务情况自定义字段名称。命名规则如下：只能包含字母、数字和下划线（_）。以字母开头。长度在4~64个字符范围内。在编辑单物理表服务单元时，如果系统判断到源表字段已删除，则...
横向虚拟关联
建模的数据输入分别位于己方和对方的数据库中，对字段进行匹配对齐。组件截图 二、参数说明 参数名称 参数说明 选择保留字段 选择参与方1和参与方2的匹配字段，用于后续横向建模。默认按字段名称（忽略大小写）自动匹配。字段别名默认使用...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
数据接口配置说明
操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据字段的英文名称，字段名称必须为英文字符，作为参数传递时的key值。中文名：输入字段的中文名，中文名必须控制在10字...
新建离线物理表
从建表语句引入 在 从建表语句引入 对话框中，按照下图操作指引，输入建表语句后单击 解析SQL，在解析出的字段中勾选所需引入的字段，并单击 添加 进行引入。添加字段 添加字段方式支持添加 数据字段、分区字段、快捷添加日期分区 字段类型...
新建离线物理表
从建表语句引入 在 从建表语句引入 对话框中，按照下图操作指引，输入建表语句后单击 解析SQL，在解析出的字段中勾选所需引入的字段，并单击 添加 进行引入。添加字段 添加字段方式支持添加 数据字段、分区字段、快捷添加日期分区 字段类型...
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要...例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Teradata数据源。具体操作，请参见 创建Tablestore数据源。进行Teradata输入组件属性配置的账号，需具备该数据源的同步读权限。如果...
DMS分类分级扫描原理介绍
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
配置ClickHouse输出组件
例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 通过离线单条管道配置集成任务。
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...
虚拟列
数据表中字段类型 虚拟列字段类型 String Keyword（含数组）String Text（含数组）String Long（含数组）String Double（含数组）String Geo-point（含数组）Long Keyword Long Text Double Keyword Double Text 虚拟列目前仅支持用在查询...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
通过数据同步功能同步Kafka至湖仓版（推荐）
如果字段中有嵌套，则输出其子层级字段，例如device字段有嵌套，因此输出其子层级 device.os、device.brand 和 device.version。重要 由于目标字段名不支持“.”，因此会自动替换为“_”。JSON字段 值 目标字段名 name zhangle name age 18...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
配置ClickHouse输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句...
新建计算字段
CASE WHEN[成交金额]>5000 AND[成交笔数]>40 THEN 'VVIP' WHEN[成交金额]>1000 AND[成交笔数]>5 THEN 'VIP' ELSE '普通' END 字符拼接 假设数据表中分别有省份、城市2个字段，您可以使用字符串拼接函数，将省份城市合并到一个字段中。...
错误检查
检查数据源的实体模型是否存在，如果是逻辑流数据源，还判断逻辑流返回的实体模型是否匹配 dataModelCheck='dataModelCheck',/检查数据库数据源中过滤字段都在实体内有定义 dataSourceFilter='dataSourceFilter',/检查数据库数据源中排序...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
OpenSearch-高性能检索版表结构
时间戳字段说明：INT和TIMESTAMP类型可以映射数据源字段中的datetime/timestamp字段，会自动将其转化为毫秒数。搜索时可以通过 Range范围查询，按时间区间过滤召回。支持的数据源字段类型 数据源 支持的字段类型 RDS TINYINT,SMALLINT,...
行业算法版表结构
时间戳字段说明：INT和TIMESTAMP类型可以映射数据源字段中的datetime/timestamp字段，会自动将其转化为毫秒数。搜索时可以通过 range，按时间区间过滤召回。支持的数据源字段类型 数据源 支持的字段类型 RDS TINYINT,SMALLINT,INTEGER,...
从游标提取行
这样，即使更改了数据库列的数据类型，也不必更改 SPL 程序中的目标变量声明。TYPE 将自动选取指定列的新数据类型。CREATE OR REPLACE PROCEDURE cursor_example IS v_empno emp.empno%TYPE;v_ename emp.ename%TYPE;CURSOR emp_cur_3 IS ...
CSV数据文件格式
propertyname:type(set)[]行格式 项目 说明 分隔符 行中字段是用逗号分隔的，行间是用换行符（）或回车换行符（\r）分隔的。空白字段 非必需列（如用户定义的属性）允许使用空白字段。空白字段仍需要逗号分隔符。顶点ID 每个顶点文件中所有...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
数组和嵌套类型
例如Long类型+数组后，即为数组长整型，该字段中可以包括多个长整型数字，查询数据时其中任何一个匹配都可以返回该行数据。多元索引的基本类型数组格式请参见下表。数组类型 说明 Long Array 长整型的数组形式，格式为“[1000,4,5555]”。...
GDB中配置ES信息
指定的字段中不能包含“,”号和“.”点，否则无法指定成功。不需要指定label的字段，其已经默认同步至ES中。如果您刚开始并不想指定字段，也需要运行该语句，要不然ES服务将不可用，您只需要在vertex与edge中不指定同步字段就好，即"vertex...
CSV格式
说明 同一个Key在 CSV字段 中只能配置一次，不支持多次使用。如果您的日志中存在同名字段（例如都为 request_time），则日志服务会将其中一个字段名显示为 request_time_0，底层存储的字段名仍为 request_time。因此您在投递时，只能使用...
- 产品推荐
- 这些文档可能帮助您