配置GBase 8a输入组件
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
配置Impala输入组件
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
配置PolarDB输入组件
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
字段操作函数
当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_...
配置Impala输入组件
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
AND
对多个字段取与处理，支持“true”、“false”、“1”、“0”值的字段。计算逻辑原理 对多个字段值取逻辑与。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择N个字段...
OR
OR算法组件对多个字段取或处理，支持“true”、“false”、“1”、“0”值的字段。计算逻辑原理 对多个字段值取逻辑或。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口...
全局操作函数概览
日志服务LOG DSL（Domain Specific Language）提供近三十种全局操作函数，您可以在数据加工中通过全局操作函数控制加工逻辑。全局操作函数列表如下表所示。函数类型 函数 操作说明 流程控制函数 e_if 多个条件与操作组合。e_if_else 根据...
两表交集
交集条件 可以分别指定两个来源节点的1个或者多个字段作为 交集条件 的字段，并设置这些字段的映射关系。两个来源节点的原始数据中满足这些映射关系的数据即为二者的交集，如下示意图所示。示例如下所示，假设两个输入节点分别为A和B，设置...
修改导出任务
当只存在单个字段映射时，导出为TSDB单值模型（TSDB字段名称只能是value），当存在多个字段映射时，导出为TSDB多值模型。标签映射 为导出的数据记录设置TSDB标签，第一个框填写标签名称，第二个框填写标签值，该配置项的标签名与标签值均...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
API
本文介绍自定义组件依赖的平台API。ComponentApi 通用的API接口。获取方式 通过代码模块导入获取。示例：import api from './api';if(api.isPreview()){/} else {/} 说明...调用此方法的场景有2个：数据容器修改自己children的数据上下文。1.1...
配置GoldenDB输入组件
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源。...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
创建多元索引
在数据表上创建一个多元索引后，您可以根据多元索引中建立索引的字段来查询数据表中的数据。一张数据表可以创建多个多元索引。最佳使用方式 请根据实际查询需求确定在一张数据表中创建多元索引的个数。例如有一张数据表有5个字段，分别为id...
配置OpenGauss输入组件
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置KingbaseES输入组件
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置StarRocks输入组件
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
配置StarRocks输入组件
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
配置OpenGauss输入组件
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。操作步骤 请参见 通过...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Teradata数据源。具体操作，请参见 创建Tablestore数据源。进行Teradata输入组件属性配置的账号，需具备该数据源的同步读权限。如果...
配置KingbaseES输入组件
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM（达梦）输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建达梦数据源。具体操作，请参见 ...
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM（达梦）输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建达梦数据源。具体操作，请参见 ...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...
配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
配置Microsoft SQL Server输入组件
同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Microsoft SQL Server输入组件。请参见 通过离线单条管道配置集成...
配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
新建字段标准通用信息
新建字段标准时需要为字段标准设置属性，如果默认属性不满足需要，可以为字段标准添加自定义属性。本文介绍如何新建字段标准通用信息。背景信息 可根据需要同时新建多个字段标准通用信息供新建字段标准时使用。新建的字段标准通用信息适用...
新建字段标准通用信息
新建字段标准时需要为字段标准设置属性，如果默认属性不满足需要，可以为字段标准添加自定义属性。本文介绍如何新建字段标准通用信息。背景信息 可根据需要同时新建多个字段标准通用信息供新建字段标准时使用。新建的字段标准通用信息适用...
表结构设计
尽量使二级分区维持静态状态，不建议频繁更新二级分区，例如，如果有每天频繁更新多个历史二级分区场景，应考虑使用的二级分区字段是否合理。您可以通过 LIFECYCLE N 关键字实现表生命周期管理，即对分区进行排序，超出 N 的分区会被过滤。...
配置Microsoft SQL Server输入组件
同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Microsoft SQL Server输入组件。前提条件 在开始执行操作前，请...
日志字段详情
一条消息操作日志中包含多个字段，每个字段都有自己的含义。根据操作的不同，消息操作日志所包含的字段也不相同。以下分别介绍各个字段的含义和不同操作所包含的字段信息。日志字段解析 一条消息操作日志中包含多个字段，各个字段的含义...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
表格函数
city:nanjing 加工规则 e_table_map(tab_parse_csv("province,city,pop,gdp shanghai,shanghai,2000,1000 jiangsu,nanjing,800,500"),"city","province",)加工结果 city:nanjing province:jiangsu 示例2：直接构建，并映射多个字段的值。...
配置MaxCompute输入组件
同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
- 产品推荐
- 这些文档可能帮助您