QueryPipelineList-查询管道
通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时，请检查您是否拥有 MPS 权限（是否授权 ...
CreatePipeline-创建管道
创建管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string 是 ...
AddPipeline-添加管道
新增一个管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string...
DeletePipeline-删除管道
删除管道。接口说明 本接口一次只能删除一个管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接运行...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
ListPipelines-获取管道列表
PipelineId string 管道 ID*20b48fb04483915d4f2cd8ac*Name string 管道名称 test-pipeline Speed string 管道类型 Standard Priority integer 管道优先级 6 Status string 管道状态 枚举值：Active：正常。Paused：停用。Active ...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
UpdatePipeline-更新管道信息
更新用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
GetPipeline-获取管道详细信息
获取用户管道详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将根据集成任务自动解析...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
Dataphin管道任务报错“您尝试读取的列越界,源文件...
问题描述 用户使用Dataphin管道任务报错“您尝试读取的列越界,源文件该行有[62]列,您尝试读取第[63]列”问题原因 数据分隔符和字段里面的特殊符号一致，导致字段被拆分。解决方案 修改字段分隔符，或者修改字段里面的特殊符号。适用于 ...
Dataphin管道任务如何新加字段
概述 本文主要介绍Dataphin管道任务如何新加字段。详细信息 在管道任务中可以添加转换组件中的字段计算进行新建计算字段。在字段计算中新建字段。适用于 Dataphin 本文基于dataphin 公共云 2.9.4-3 进行验证。
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
UpdatePipeline-更新管道：名称、状态及通知设定
暂停管道后，如果工作流或其他单任务（如视频审核、视频 DNA 等）中选择使用状态为已暂停的管道，会导致任务失败无法进行。注意 暂停管道后，不会影响已经提交的任务。如果任务提交后关闭管道，已经进入处理排队的任务将无法取消，会正常...
Dataphin管道任务中无法选择物理表
问题描述 Dataphin管道任务中无法选择物理表。问题原因 这张表是外部表，存储在OSS中。解决方案 数据集成中无法选择外部表。适用于 Dataphin
ES创建管道卡住|Logstash配置问题
使用file_extend插件开启配置调试，实际上集群都没有安装这个插件。2.网络异常，提示：管道创建/更新卡住，建议您优先查看Logstash日志查看详细报错信息，进行调整。解决方案 1.配置问题 检查scheduler是否符合预期，可参考开源文档排查。...
Dataphin管道任务是否支持同步视图表数据
问题描述 Dataphin管道任务是否支持同步视图表数据？解决方案 目前Dataphin仅Hologres，ODPS，Hadoop非关系型数据库，不支持同步视图表数据；其他数据库都支持同步视图表数据，包括SqlServer，MySQL，Oracle 等关系型数据库。适用于 ...
Dataphin中管道任务ClickHouse脚本JSON脚本
概述 Dataphin中管道任务ClickHouse脚本JSON脚本。详细信息 ClickHouse输入组件，同步配置文件如下：{"tables":["table_name"],"stepType":"clickhouse","parameter":{"fetchSize":1024 },"column":[{"name":"in_col_name1","type":"Long"}...
Dataphin管道任务如何配置多个静态分区
问题描述 Dataphin管道任务如何配置多个静态分区？解决方案 多个静态分区需要使用逗号隔开。适用于 Dataphin 数据仓库静态分区
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
Dataphin中管道任务无法获取SAP HANA的表
问题描述 在Dataphin中管道任务无法获取SAP HANA的表，在管道任务中没有任何表。在管理工具中相同账号可以看到有表：问题原因 JDBC配置有误导致该问题，JDBC中缺少currentSchema等信息。解决方案 数据源jdbc需要按照如下格式设置：jdbc:sap...
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
Dataphin管道任务如何同步HBase源表全部字段数据
解决方案 在管道任务中直接使用HBase输入组件只能同步主键字段数据或普通字段数据，如果需要同步HBase表全部字段数据，需要使用脚本模式输入组件。{"parameter":{"mode":"normal"},"range":{"isBinaryRowkey":true,"startRowkey":"${today}...
Dataphin管道任务MongoDB输出组件更新信息说明
问题描述 用户使用MongoDB输出组建的时候，更新信息缺少详细描述说明。解决方案 replaceKey：约束键、主键。isReplace：是否替换数据，默认关闭，开启之后根据replaceKey设置的字段判断，如果一致，则更新数据，不一致则插入数据。...
Dataphin离线管道任务运行报错：类型转换错误
问题描述 Dataphin离线管道任务运行报错：类型转换错误 {"message":"类型转换错误,无法将[1\u000130\u00010.0\u000123400\u00012022-01-12 15:10:49.701]转换为[LONG]","record":[],"type":"reader"} 问题原因 管道任务的数据输入端Hive...
Dataphin管道任务是否支持数据数仓的动态分区
问题描述 Dataphin管道任务是否支持数据数仓的动态分区。问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin...
Dataphin管道任务同步csv文件到中台乱码
问题描述 用户同步csv文件数据到中台，发现数据乱码。问题原因 csv编码格式和中台数据库编码格式不一样。解决方案 对齐两边编码格式即可。适用于 Dataphin 管道任务
Dataphin管道任务配置页面可以显示表字段，数据库连接...
问题描述 Dataphin管道任务配置页面可以显示表字段，数据库连接测试也正常，但是执行该管道任务报错“ERROR DBUtil-get connection error com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure”。...
Dataphin管道任务中预览数据发现过滤条件未生效
概述 本文描述了Dataphin管道任务中预览数据发现过滤条件未生效的处理方法。详细信息 管道任务配置过滤条件后，执行预览，发现数据依然是全量数据。解决办法：点击到过滤_1页面，重新执行预览即可。适用于 Dataphin 公共云2.9.4-3
- 产品推荐
- 这些文档可能帮助您