管道概述
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文介绍MPS中管道的基本概念及使用限制。基本概念 管道有启用、禁用两种状态，管道被暂停时，媒体处理服务不再调度此管道中的作业...
查看历史信息
前提条件 完成离线单条管道的创建，详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入Dataphin>>。进入数据 集成 页面。在Dataphin首页，单击 研发，...
配置Oracle输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发页面。按照下图指引，进入 Oracle输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Oracle 组件至左侧的管道画布中。④ 鼠标放置在 ...
配置Microsoft SQL Server输入组件
请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发页面。按照下图指引，进入 Microsoft SQL Server输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Microsoft SQL Server 组件至左侧的管道画布...
实例列表概览
管理管道 单击右侧 操作 列下的 管道管理，可在 管道管理 页面创建并配置管道。详细信息，请参见 通过配置文件管理管道。管理实例 单击右侧 操作 列下的 实例管理，可在实例管理页面进行集群配置、插件配置、网络与安全配置、集群监控、...
配置ClickHouse输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 ClickHouse输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 ClickHouse 组件至左侧的管道画布中。④ ...
配置AnalyticDB for MySQL 3.0输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for MySQL 3.0输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 AnalyticDB for MySQL 3.0...
配置AnalyticDB for PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for PostgreSQL输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出 前的 图标。③ 将 AnalyticDB ...
通过阿里云Logstash将MaxCompute数据同步至Elastic...
单击 下一步，配置管道参数。参数 说明 管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。管道批大小 单个工作线程在尝试执行...
Elasticsearch授权资源
elasticsearch:DescribePipelineManagementConfig 获取管道管理配置。elasticsearch:ListPipelineIds 设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。elasticsearch:DeletePipelines 删除管道。...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中...后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 通过离线单条管道配置集成任务。
配置解密转换组件
更多信息，请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照以下操作指引，进入 字段解密配置 页面。单击 组件库->单击 转换->单击 解密->连接 图标->单击 图标。在 字段...
配置加密转换组件
前提条件 已创建离线单条管道，详情请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照以下操作指引，进入 字段加密配置 页面。单击 组件库->单击 转换->单击 加密->连接 图标...
一字管道
步骤二：配置样式 在右侧 样式 中，配置管道的 流动效果。说明 当您关闭 流动效果 后，该组件仅作为显示组件，不再支持流动效果配置。配置项 说明 流动动画 配置管道的动画开启。支持静态和动态（关联设备）配置。静态 开：开启管道动画，...
使用云边通信Raven组件
您可以配置Raven组件，选择云边通信模式（代理模式、隧道模式），也可以增删访问控制白名单条目，放行边缘网关节点以使其与云上构建隧道。前提条件 已创建 ACK Edge集群，且集群版本为v1.26.3及以上。具体操作，请参见 创建ACK Edge集群。...
通过Logstash将PolarDB-X（DRDS）数据同步至Elastic...
为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_...
配置扩展文件
重要 为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_...
配置ArgoDB输出组件
重要 表schema发生变更需要重新配置管道任务。文件编码 根据实际数据情况，选择编码格式。支持 UTF-8 和 GBK。加载策略 覆盖数据：即以当前来源表为准，覆盖目标表中的历史数据。覆盖数据策略下，当主键/约束冲突时，会先删除原数据，再...
Dataphin管道任务失败，报错“error occurred where ...
Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式的表，可以追加字段，只要不读取新加的字段就行，而ORC和Parquet格式是具有Schema的，一定要保证写入的数据文件的...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
Dataphin管道任务如何配置多个静态分区
问题描述 Dataphin管道任务如何配置多个静态分区？解决方案 多个静态分区需要使用逗号隔开。适用于 Dataphin 数据仓库静态分区
IPsec-VPN入门概述
配置本地网关设备 您需要在本地数据中心的网关设备中添加VPN配置。具体操作，请参见 本地网关配置。配置VPN网关路由 您需要在VPN网关中配置路由，并发布路由到VPC路由表以实现本地数据中心和VPC的通信。更多信息，请参见 网关路由概述。...
一机一密
MQTT-TCP连接与通信：配置网关与子设备证书信息和接入域名，在网关设备的SDK中，初始化子设备管理实例，配置网关与子设备的拓扑关系，及子设备登录能力等。根据实际业务需求，完成设备端SDK开发，例如网关设备代理子设备通信功能开发。设备...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
配置PolarDB输出组件
本文为您介绍如何配置PolarDB组件。操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。...后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 管道调度配置。
SAE日志导入Kafka最佳实践
elastic 在 管道参数配置 页签，配置相关参数，单击 保存并部署。本示例以默认配置为准，您可以按需修改。在 提示 对话框，单击 确认。步骤四：搜索数据 您可以在Kibana控制台搜索通过管道导入阿里云Elasticsearch的数据，确认数据是否导入...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
DescribePipeline
调用DescribePipeline，获取Logstash实例的管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
绘图
管道可以配置流体动画。连线管道和自由管道的新建和修改方法同连线。传送带 传送带是物料传输装置，由皮带轮和皮带组成。根据是否锚定在组件上（移动组件时，连线管道也随着组件一起移动，传送带分为 连线传送带 和 自由传送带。传送带可...
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
UpdatePipelines
config String 是 input { } filter { } output { } 管道具体配置。workers Integer 否 2 管道工作线程数。batchSize Integer 否 125 管道批大小。batchDelay Integer 否 50 管道批延迟。单位ms。queueType String 否 MEMORY 队列类型。...
- 产品推荐
- 这些文档可能帮助您