API概览
管道接口 API 标题 API概述 UpdatePipeline 更新管道：名称、状态及通知设定 更新管道。QueryPipelineList 查询管道 通过管道ID查询管道。SearchPipeline 搜索管道 通过管道状态搜索管道。AddPipeline 添加管道 新增一个管道。...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
0040-00000211
问题描述 图片处理管道个数过多。问题原因 图片处理管道个数超过限制。问题示例 GET/example_image?x-oss-process=image/resize,w_100|image/resize,w_90|image/resize,w_80|image/resize,w_70|image/resize,w_60|image/resize,w_50|image/...
ListPipeline
调用ListPipeline，获取Logstash实例的管道列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共...
通过Logstash同步Azure Event Hubs数据至Elastic...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
实例列表概览
阿里云Logstash的实例列表展示了实例的基本信息，并提供了创建实例、刷新实例状态、管理管道、管理实例等功能的入口。登录 阿里云Elasticsearch控制台，在左侧导航栏单击 Logstash实例，系统直接进入Logstash的实例列表页面。实例列表页面...
Dataphin管道任务如何新加字段
概述 本文主要介绍Dataphin管道任务如何新加字段。详细信息 在管道任务中可以添加转换组件中的字段计算进行新建计算字段。在字段计算中新建字段。适用于 Dataphin 本文基于dataphin 公共云 2.9.4-3 进行验证。
十字管道
在画布左侧组件列表上方，输入 十字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作...
L字管道
在画布左侧组件列表上方，输入 L字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
T字管道
在画布左侧组件列表上方，输入 T字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
术语表
管道被暂停时，媒体转码服务不再调度此管道中的作业执行转码，直到管道被重新激活为止，已经在执行转码的作业不受影响。MediaRepository Media Repository 媒体库 所有媒体的集合。Media Media Resource 媒体 媒体是媒体库的最小管理单元。...
项目角色管理
克隆 管道任务-保存 管道任务-删除 管道任务-下线并删除 管道任务-属性（调度配置、通道配置、质量监控）管道任务-锁定 管道任务-刷新 管道任务-移动 执行 实时整库同步任务-提交 管道任务-运行 管道任务-预览 管道任务-提交 开发 规范建模...
项目角色管理
克隆 管道任务-保存 管道任务-删除 管道任务-下线并删除 管道任务-属性（调度配置、通道配置、质量监控）管道任务-锁定 管道任务-刷新 管道任务-移动 执行 实时整库同步任务-提交 管道任务-运行 管道任务-预览 管道任务-提交 开发 规范建模...
2.5D
2.5D管道模型 在组件编辑页面，从左侧 组件 页签中，拖拽 2.5D管道 模型到2.5D组件中，添加锚点绘制管道样式。可选：将鼠标指针移动至所选锚点上，使用 Backspace 键或 Delete 键删除所选锚点。完成绘制后，在右侧 样式 中，单击 结束编辑 ...
基于reindex实现低版本多type数据迁移
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
Dataphin管道任务很长时间显示速度为0
问题描述 Dataphin管道任务很长时间日志都显示速度为0。如下图：问题原因 网络资源或者计算资源紧张导致。解决方案 优化自动任务调度时间，尽量和人工使用平台时间相对错开。停止后台占用资源较大的任务，或者使用管道任务-流程模块-限速...
通过Logstash修改字段名
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { elasticsearch { hosts=>["http://es-cn-tl32gid*.elasticsearch.aliyuncs.com:9200"]user=>"elastic"password=>"your_password"index=>"product_info...
提高logstash写入速度
问题描述 阿里云logstash同步数据时，如何加快数据写入 解决方案 您好，可以...阿里云logstash管道增加管道批大小，比如增加到2000观察es集群负载情况进行调整。2.管道配置中增加管道工作线程，结合集群写入压力和logstash负载进行适当增加。
使用阿里云ES监控RabbitMQ
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
Dataphin管道任务失败，报错“error occurred where ...
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
绘图
根据是否锚定在组件上（移动组件时，连线管道也随着组件一起移动），传送带分为 连线管道 和 自由管道。管道可以配置流体动画。连线管道和自由管道的新建和修改方法同连线。传送带 传送带是物料传输装置，由皮带轮和皮带组成。根据是否锚定...
创建普通转码任务
详细操作请参见 提交转码作业，创建过程中必须按照以下步骤设置转码相关信息：PipelineId，管道ID：请使用标准管道类型的管道ID。TemplateId，转码模板ID：根据您的实际转码需要选择转码模板，如系统预置模板不能满足您的转码需求，您可以...
自定义RDBMS数据库及同步数据
在离线管道开发页面，单击 并选择离线单条管道，进入 创建管道开发脚本 对话框。在创建管道开发脚本对话框，配置参数。参数 描述 管道名称 填写为 test。调度类型 选择为 手动节点。描述 填写简单的描述。例如，测试自定义组件。选择目录 ...
Dataphin中管道任务无法获取SAP HANA的表
问题描述 在Dataphin中管道任务无法获取SAP HANA的表，在管道任务中没有任何表。在管理工具中相同账号可以看到有表：问题原因 JDBC配置有误导致该问题，JDBC中缺少currentSchema等信息。解决方案 数据源jdbc需要按照如下格式设置：jdbc:sap...
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
自定义RDBMS数据库及同步数据
在离线管道开发页面，单击 并选择离线单条管道，进入 创建管道开发脚本 对话框。在创建管道开发脚本对话框，配置参数。参数 描述 管道名称 填写为 test。调度类型 选择为 手动节点。描述 填写简单的描述。例如，测试自定义组件。选择目录 ...
通过整库迁移配置集成任务
管道生成后，在离线管道任务目录列表整库迁移任务下将生成对应的离线管道。您可按照下图操作指引，对生成的离线管道任务进行配置后发布等操作。详情请参见 离线集成任务属性配置概述。后续步骤 您可在运维中心查看并运维集成任务，保证任务...
通过Logstash切分数据并提取到字段中
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { beats { port=>8001 } } filter { mutate { gsub=>["message","\|","|"]split=>["message","|"]add_field=>{"mobile"=>"%{[message][1]}""appName"=>"%{...
配置脚本模式组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 脚本模式输出配置 对话框。在 脚本模式输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
ES创建管道卡住|Logstash配置问题
问题描述 Logstash创建/部署管道卡住 可能原因 1.配置有误 scheduler表达式格式配置有误。使用file_extend插件开启配置调试，实际上集群都没有安装这个插件。2.网络异常，提示：管道创建/更新卡住，建议您优先查看Logstash日志查看详细报错...
查询分析RocketMQ客户端日志
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时，可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络，不支持Classiclink方式打通...
Dataphin管道任务中无法选择物理表
问题描述 Dataphin管道任务中无法选择物理表。问题原因 这张表是外部表，存储在OSS中。解决方案 数据集成中无法选择外部表。适用于 Dataphin
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
Dataphin管道任务是否支持同步视图表数据
问题描述 Dataphin管道任务是否支持同步视图表数据？解决方案 目前Dataphin仅Hologres，ODPS，Hadoop非关系型数据库，不支持同步视图表数据；其他数据库都支持同步视图表数据，包括SqlServer，MySQL，Oracle 等关系型数据库。适用于 ...
Dataphin管道任务中需要同步大量数据时内存设置上限
概述 描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息 在管道任务的通道配置中，JVM配置可以设置运行内存，最大可以设置为8G。当管道任务同步数据较多时，...
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。在离线单条管道脚本的开发页面，按照下图操作指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
- 产品推荐
- 这些文档可能帮助您