配置LogicalTable输入组件

按照下图指引,进入 逻辑表输入配置 对话框。在 逻辑表输入配置 对话框,配置参数。参数 描述 步骤名称 即LogicalTable输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含汉字、字母、下划线(_...

通过SQL模式创建API(Dataphin

在集成中配置同步任务,输入组件选择 逻辑表输入配置(LogicalTable),输出组件选择 MySQL输出组件,具体操作请参见 配置LogicalTable输入组件、配置MySQL输出组件。配置完同步任务后,且成功发布后,可在数据服务创建逻辑API并进行提交...

通过向导模式创建API(Dataphin

在集成中配置同步任务,输入组件选择 逻辑表输入配置(LogicalTable),输出组件选择 MySQL输出组件,具体操作请参见 配置LogicalTable输入组件、配置MySQL输出组件。配置完同步任务后,且成功发布后,可在数据服务创建逻辑API并进行提交...

自定义血缘配置

配置输入表 页面,进行参数配置,操作完成后单击 确定。参数 描述 所属环境 输入输出表的所属环境,支持选择 自动、开发 或 生产。所属环境选择 自动,相当于代码中以空间变量${项目名/板块名}的方式引用表,可选范围为开发环境的表。...

定义SQL组件

步骤二:配置输入参数 定义过程体的输入参数,支持 Table 和 String 类型,即过程体的输入参数为某或某字符串,具体如下。Table:若使用组件加工源数据时,输出结果类别单一恒定,则请使用该类型。该类型的主要配置说明如下。配置项 ...

查看并管理实时任务

输入表 无需配置,为您展示当前实时实例的输入表名称。测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见 新建元表。元表的开发环境测试时读取参数选中开发表。任务中使用的是 Project_Name_dev....

配置Hologres输入组件

按照下图指引,进入 Hologres输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Hologres 组件至左侧的管道画布中。④ 鼠标放置在 Hologres 组件框内右键单击,选择 属性配置。在 Hologres输入配置 对话框,...

步骤三:配置节点运行配置

针对不能自动解析输入和输出参数的节点类型,当需要了解资产中字段血缘关系时,在配置好输入和输出参数后,单击 字段血缘配置,手动配置输入和输出的字段映射关系。其中不能自动解析输入和输出参数的节点包括:MaxCompute MR、Hadoop、...

步骤三:配置节点运行配置

针对不能自动解析输入和输出参数的节点类型,当需要了解资产中字段血缘关系时,在配置好输入和输出参数后,单击 字段血缘配置,手动配置输入和输出的字段映射关系。其中不能自动解析输入和输出参数的节点包括:MaxCompute MR、Hadoop、...

新建Elastic Job类型的公共节点

输入数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意结构,用于对未创建...

配置PolarDB-X(原DRDS)输入组件

按照下图指引,进入 PolarDB-X(原DRDS)输入配置 对话框。在 PolarDB-X(原DRDS)输入配置 对话框,配置参数。参数 描述 步骤名称 即PolarDB-X输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能...

新建Elastic Job类型的公共节点

数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据的数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意...

新建开发环境场景并运行

说明 针对不能自动解析输入和输出的节点类型,当需要了解资产中字段血缘关系时或者自动解析的节点类型中解析存在差异,需要修改字段映射关系时,在配置好输入和输出参数后,单击 手动配置血缘,手动配置输入和输出的字段映射关系。...

新建开发环境场景并运行

说明 针对不能自动解析输入和输出的节点类型,当需要了解资产中字段血缘关系时或者自动解析的节点类型中解析存在差异,需要修改字段映射关系时,在配置好输入和输出参数后,单击 手动配置血缘,手动配置输入和输出的字段映射关系。...

逻辑调度配置概述

逻辑调度配置入口 请参见 逻辑任务配置入口,进入逻辑任务配置页面。单击调度配置,进入逻辑 调度配置 对话框。逻辑调度配置 在逻辑 调度配置 对话框,您需根据下表配置逻辑任务的调度相关信息。配置项 描述 数据延迟 用于...

数据投递

tableName 源端名称,需要与 投递数据对象配置 阶段输入名一致。请根据实际情况填写,本示例为 tab1、tab2、tab3。参数配置完后,记录当前时间并启动SDK。修改数据投递实例的位点,详情请参见 修改同步或迁移实例的当前位点。说明 ...

样式配置

说明 在工具栏里配置斜线表头需要输入 英文逗号(,)换行,例如上图的斜线表头输入内容为:“区域,产品类型,产品小类”。自适应列宽 支持设置自适应列宽。说明 列数过多时使用该功能可能会导致性能问题。区块样式 说明 区块样式的配置,能...

元数据管理

配置元数据参数。输入数据的名称。选择所属数据目录。选择数据目录下的数据库。(选填)输入元数据描述。选择元数据中数据存储的位置。选择元数据的存储格式。指定元数据的分隔符。手动定义元数据的列,指定列编号、列名称、...

集成组件库开发说明

组件配置说明 Dataphin支持的组件及配置说明请参见下输入组件 组件名称 组件配置 MYSQL 配置MySQL输入组件 脚本模式输入 配置脚本模式输入组件 Elasticsearch 配置Elasticsearch输入组件 MaxCompute 配置MaxCompute输入组件 Vertica ...

编辑脚本

脚本类型 输入配置 输出配置 创建联邦 原始样本(多个)联邦(一个或多个)预处理规则 联邦(一个或多个)联邦(一个或多个)预处理应用 联邦(一个或多个)联邦预处理规则(一个)联邦(一个或多个)模型开发 联邦(一个或...

DataStudio侧实时同步任务配置

目前,同步单数据支持的输入数据源类型及其配置如下:配置MySQL输入 配置DataHub输入 配置LogHub(SLS)输入 配置Kafka输入 配置PolarDB输入 可选:配置数据转换方式。在实时同步数据的过程中,如果您希望将输入的数据转换为需要使用的...

配置Salesforce输入组件

按照下图操作指引,进入 Salesforce输入配置 对话框。在 Salesforce输入配置 对话框中,配置参数。参数 描述 步骤名称 Salesforce输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含汉字、字母...

配置DataHub输入组件

在 DataHub输入配置 对话框,按照下配置参数。参数 描述 步骤名称 根据当前组件的使用场景及定位,输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建,进入规划模块新建数据源。后续操作,详情请参见...

配置API输入组件

按照下图操作指引,进入 API输入配置 对话框。在 API输入配置 对话框中,配置参数。参数 描述 步骤名称 即API输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含汉字、字母、下划线(_)、数字...

新建Elastic Service在线类型的节点并运行

配置 节点输入:如果节点文件和脚本中有要求输入变量,则单击 添加节点输入,配置输入变量。配置项 说明 输入标识 该节点输入的标识,用户可自定义。数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供...

批量创建质量规则

级详情配置 您可查看所选数据校验信息,也可以修改规则名称、质量分权重(仅Dataphin数据和全域数据支持),同时,您可以单击 操作 列下的 图标编辑该的规则配置和校验配置,也可以删除该数据。单击 添加规则,完成配置。批量...

批量创建质量规则

级详情配置 您可查看所选数据校验信息,也可以修改规则名称、质量分权重(仅Dataphin数据和全域数据支持),同时,您可以单击 操作 列下的 图标编辑该的规则配置和校验配置,也可以删除该数据。单击 添加规则,完成配置。批量...

配置OSS输入组件

按照下图操作指引,进入 OSS输入配置 页面。在 OSS输入配置 对话框,配置参数。参数 描述 步骤名称 即OSS输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含汉字、字母、下划线(_)、数字。不...

配置OSS输入组件

按照下图操作指引,进入 OSS输入配置 页面。在 OSS输入配置 对话框,配置参数。参数 描述 步骤名称 即OSS输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含汉字、字母、下划线(_)、数字。不...

新建Elastic Service在线类型的节点并运行

配置 节点输入:如果节点文件和脚本中有要求输入变量,则单击 添加节点输入,配置输入变量。配置项 说明 输入标识 该节点输入的标识,用户可自定义。数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供...

Dataphin管道任务输入组件是否能配置逻辑

概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑。详细信息 管道任务可以配置逻辑。在组件库中选择LogicalTable组件。适用于 Dataphin

控件算法入参格式

传给算法入参格式如下:"UPLOAD":{/参数标识"default":{"value":"/aics/newPythonCode/20200927/16/100678/pqtest.txt","quality":1 } } 批量输入配置、动态输入配置 设置控件参数标识(该标识为算法入参对象)。设置端口,单击 批量输入...

CreateListener-创建监听

调试 授权信息 下是API对应的授权信息,可以在RAM权限策略语句的 Action 元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:操作:是指具体的权限点。访问级别:是指每个操作的访问级别,取值为写入(Write)、读取...

配置Kafka输入组件

在 KAFKA输入配置 对话框,按照下配置参数。参数 说明 步骤名称 根据当前组件的使用场景及定位,输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建,进入规划模块新建数据源。后续操作,详情请参见 ...

配置FTP输入组件

按照下图操作指引,进入 FTP输入配置 对话框。在 FTP输入配置 对话框,配置参数。参数 说明 步骤名称 根据当前组件的使用场景,填写名称。数据源 选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:数据源...

创建工作流

依次选中流程图中的状态节点或流程节点,为其设置 基本配置输入配置、输出配置 和 错误处理,然后单击 保存并退出。本文以任务InvokeFunction为例,需设置的重点配置项如下,其余配置项选择默认值即可。配置类型 配置项 说明 示例值 基本...

配置Elasticsearch输入组件

按照下图操作指引,进入 Elasticsearch输入配置 对话框。在 Elasticsearch输入配置 对话框,配置参数。参数 说明 步骤名称 即Elasticsearch输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:只能包含...

SQL组件概述

后续在使用SQL组件节点时,只需从代码组件列表中选择和自己的业务处理过程类似的组件,并为该组件配置自己业务中特定的输入表和输出表,无需再次编辑代码,便可直接生成新的SQL组件节点,极大提升了开发效率,避免重复开发。SQL组件节点...

术语

Input Job Input 作业输入 作业输入,包括InputFile以及其它一些转码作业输入配置参数 InputFile Input File 输入文件 本地文件上传到OSS后,就转变成一个输入文件。Output Job Output 作业输出配置 作业输出配置由模板ID、水印列表、...

界面概览

单击选中画布中需要配置的节点,右侧参数配置区将显示其配置选项,包括 基本配置输入配置、输出配置 和 错误处理。本文以任务InvokeFunction为例,需设置的重点配置项如下,其余配置项选择默认值即可。配置类型 配置项 说明 示例值 基本...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
DDoS防护 应用配置管理 (文档停止维护) 物联网平台 云服务器 ECS 微服务引擎 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用