读数据表
选择输入表 选择需要读取的数据表。配置输出 配置需要输出到下个节点的字段。分区配置（可选）对于支持分区的计算资源（如MaxCompute、Hive），在 分区配置 中，可以读取指定分区的数据。分区字段：分区表中用于分区的字段。分区值类型：...
配置ClickHouse输入组件
按照下图指引，进入ClickHouse输入配置对话框。在 ClickHouse输入配置 对话框中，配置参数。参数 描述 步骤名称 即ClickHouse输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。命名规则如下：只能包含汉字、字母、...
功能更新动态（2023年）
配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化：Flink SQL任务支持通过数据源编码的方式访问MySQL、Hologres和MaxCompute数据源中的表。元表、镜像表在...
文档更新动态（2023年）
更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...
构建全量数据索引
输入 配置名 和 配置值。在 配置名 文本框中输入 search.index.build.timerange。在 配置值 文本框中配置索引表和时间范围，格式为：索引表名:时间列,时间单位,开始的时间值,结束的时间值。以 myIndex:create_time,ms,1654486200000,...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
新建手工表
参数 描述 表名称 请输入表名称。仅允许数字、字母、下划线（_）,128位字符以内。目录位置 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写名称和选择目录所在位置进行创建。目标项目空间 创建的手工表所在的目标项目空间...
新建手工表
参数 描述 表名称 请输入表名称。仅允许数字、字母、下划线（_）,128位字符以内。目录位置 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写名称和选择目录所在位置进行创建。目标项目空间 创建的手工表所在的目标项目空间...
H5输入框
属性配置 输入框组件属性由以下部分组成：分类 基础属性 示例 说明 基础属性 提示文字 编辑输入框提示文字，可以在输入框内容为空的时候背景展示文字提示。最大长度 通过设置最大长度，可以限制输入框的输入字符长度。输入框类型 输入框...
逻辑表配置概述
相关对象 逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。后续步骤 逻辑任务配置完成后，您可提交并发布至生产环境。后续可在生产环境进行...
新建Spark Batch类型的公共节点
如果算法文件和脚本中有要求输入变量，单击 添加节点输入，添加输入参数，填写输入标识，并选择输入的云计算资源类型以及输入表。如果算法文件和脚本中有要求输出变量，单击 添加节点输出，添加输出参数，填写输出标识，并选择输出的云计算...
三元组转kv
Dlifecycle=3 参数名称 是否必选 描述 默认值 inputTableName 是 输入表的名称。无 idColName 是 指定转换为kv表时，保持不变的列名称。无 keyColName 是 kv表中的key。无 valueColName 是 kv表中key的值。无 outputTableName 是 输出kv表...
ngram-count
inputTablePartitions 否 选择全表 输入表指定分区。countTableName 否 无 ngram-count以往的输出表，最终结果将合并这张表。countWordColName 否 选择第二列 count表中词所在的列名。countCountColName 否 选择第三列 count表中count所在...
新建及管理数据分类
包含/不包含：关键词匹配，如匹配用户信息表，输入user_info。按字段描述扫描：根据元数据中的字段描述进行扫描判断。正则（大小兼容）：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配...
新建及管理数据分类
包含/不包含：关键词匹配，如匹配用户信息表，输入user_info。按字段描述扫描：根据元数据中的字段描述进行扫描判断。正则（大小兼容）：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配...
配置脚本模式组件
{"table":"tableName","columnMapping":[{"sourceColName":"","dstColName":""}],"parameter":{ } } 其中：table：输出组件的单输入表和多输入表。多输入表的key值为tables，单输入表的key值为table。如果组件不涉及表，则没有该参数。...
计算节点配置说明
完成输入和输出参数配置后，单击 字段血缘配置，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配输入表...
配置参数说明
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
计算节点配置说明
完成输入和输出参数配置后，单击 字段血缘配置，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配输入表...
使用ETL分析实时订单
配置流表信息 页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，根据页面信息配置源库信息。设置以下参数，配置节点信息。参数 说明 请输入数据源名称 DTS会自动生成一个数据源名称，...
配置流程
创建ETL任务具体如下：任务 说明 参考文档 配置源库信息 您可以选择 输入/维表 节点的一个或多个数据类型，并需要为每个源库依次配置以下信息：说明 您可以多次选择同一类型的数据类型。配置节点信息。配置字段信息。可选：如果您选择的库...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
配置脚本模式组件
{"table":"tableName","columnMapping":[{"sourceColName":"","dstColName":""}],"parameter":{ } } 其中：table：输出组件的单输入表和多输入表。多输入表的key值为tables，单输入表的key值为table。如果组件不涉及表，则没有该参数。...
配置源库信息
可选：如果选择的节点类型为 流表，请单击 时间属性 页签，设置以下参数，完成 输入/维表 MySQL-1 的配置。参数 说明 选择事件时间Watermark字段 选择数据产生事件时代表时间的字段。事件时间Watermark延迟时间 输入数据产生事件时的延迟...
输入框
属性配置 输入框组件属性由以下部分组成：分类 基础属性 示例 说明 基础属性 提示文字 编辑输入框提示文字，可以在输入框内容为空的时候背景展示文字提示。最大长度 通过设置最大长度，可以限制输入框的输入字符长度。输入框类型 输入框...
设置调度依赖最佳实践
配置依赖时，您需要删除静态表的输入：如果静态表不满足 t_的格式，不会被处理为临时表，此时您需要删除静态表的输入。您在代码中右键单击表名，选择 删除输入。如果您是从DataWorksV1.0升级至DataWorks V2.0的用户，则您迁移过来的...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
线性模型特征重要性
页签 参数 描述 字段设置 选择特征列 输入表中，用于训练的特征列。默认选中除标签列（例如Label）外的所有列，为可选项。选择目标列 该参数为必选项。单击 选择字段，选择标签列。输入表数据是否为稀疏格式 可选项。执行调优 计算核心数 ...
滑动选择条
配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。图表尺寸：包括组件的宽度和高度，单位为px。可单击 图标锁定...
字符串相似度-topN
页签 参数 描述 字段设置 输入表在输出表追加的列名 输入表中需要在输出表中追加的列名。映射表在输出表追加的列名 映射表中需要在输出表中追加的列名。相似度计算中左表的列名 在相似度计算中，左表的列名。相似度计算中映射表的列名 在...
CreateProject-创建项目
tenant_name Tables object[]否 当前数据库中传输表对象的配置。Mode 为 WILDCARD 时，该参数表示具体黑名单或白名单的配置，表和视图共用。Name string 否 表的名称。table_name MappedName string 否 表的映射名称。mapped_table Id ...
配置脚本模式输入组件
在 配置文件 区域，{"table":"tableName",/"tables":["tableName"]"column":[{"name":"","type":""}],"parameter":{} } 其中：table和tables：输入组件的单输入表和多输入表。多输入表的key值为tables，单输入表的key值为table。如果组件不...
依赖关系
调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析不匹配 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？为什么有些节点的本节点的输出中，下游节点名称、下游...
采集数据
分别在EMR Hive节点中输入建表语句，并在 调度配置 中 调度资源组 选择为独享调度资源组，然后单击 保存 并 运行 各建表语句。新建 insert_ods_user_info_d_emr 表。双击 insert_ods_user_info_d_emr 节点，在右侧的编辑页面输入下述建表...
数据转换模块
页签 参数 描述 字段设置 输入表选择的特征列 输入的特征列，默认选择全表。不进行转换的数据列 选中的列会原样输出，可以在此指定Label。数据转换的类型 支持的转换类型包括 归一化、离散化、转换为WOE值 及 Index。默认WOE值 仅当 数据...
配置AnalyticDB for PostgreSQL输入组件
按照下图指引，进入 AnalyticDB for PostgreSQL输入配置 对话框。在 AnalyticDB for PostgreSQL输入配置 对话框，配置参数。参数 描述 步骤名称 即AnalyticDB for PostgreSQL输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务...
配置AnalyticDB for PostgreSQL输入组件
按照下图指引，进入 AnalyticDB for PostgreSQL输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 AnalyticDB for PostgreSQL 组件至左侧的管道画布中。④ 鼠标放置在 AnalyticDB for PostgreSQL 组件框内右...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
- 产品推荐
- 这些文档可能帮助您