配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 管道调度配置。
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 管道调度配置。
配置AnalyticDB for MySQL 3.0输出组件
AnalyticDB for MySQL 3.0输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至AnalyticDB for MySQL 3.0数据...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
通过Logstash修改字段名
更多管道配置说明，请参见 通过配置文件管理管道 和 Logstash配置文件说明。警告 配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。单击 保存 或者 保存并部署。保存：将...
绘图
管道可以配置流体动画。连线管道和自由管道的新建和修改方法同连线。传送带 传送带是物料传输装置，由皮带轮和皮带组成。根据是否锚定在组件上（移动组件时，连线管道也随着组件一起移动，传送带分为 连线传送带 和 自由传送带。传送带可...
通过Filebeat采集Apache日志数据
参考如下示例配置管道，详细配置方法请参见 通过配置文件管理管道。input { beats { port=>8000 } } filter { json { source=>"message"remove_field=>"@version"remove_field=>"prospector"remove_field=>"beat"remove_field=>"source...
配置FTP输出组件
也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。...
配置FTP输出组件
也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
弹性搜索的审计事件
DescribePipelineManagementConfig 查询Logstash管道管理配置。DescribeRegions 查询阿里云Elasticsearch支持的地域信息。DescribeSnapshotSetting 查询Elasticsearch集群的数据备份配置。DescribeTemplates 查询Elasticsearch实例的场景...
基于Logstash迁移OSS数据
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { oss { endpoint=>"oss-cn-hangzhou-internal.aliyuncs.com" bucket => "zl-ossoutoss" access_key_id => "LTAIaX42ddd*"access_key_secret=>"zuyBRUUndddddds3e6...
阿里云Elasticsearch支持被审计的事件说明
DescribePipelineManagementConfig 获取Logstash管道管理配置。DescribeRegions 获取阿里云Elasticsearch支持的地域信息。DescribeSnapshotSetting 获取Elasticsearch集群的数据备份配置。DescribeTemplates 获取Elasticsearch实例的场景...
API概览
DescribePipelineManagementConfig 获取Logstash管道管理配置。DeletePipelines 删除指定的Logstash管道。ListPipelineIds 设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。Beats API 描述 ...
创建自定义组件
创建自定义组件支持选择不同的任务类型（包括：Tensorflow、PyTorch、XGBoost、ElasticBatch）、创建输入输出管道、配置超参等，自定义组件创建成功后，会转换为Designer界面可视化参数配置，详情请参见 操作步骤。针对不同的任务类型，...
功能更新动态（2023年）
通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化：Flink SQL任务支持通过数据源编码的...
文档更新动态（2023年）
更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...
工作流活动介绍
管道ID。仅分析/转码/截图/打包使用该管道ID，AI类任务在节点中单独配置。工作流场景，管道上的单独配置的消息无效，请使用工作流 QueueName/TopicName 中配置的消息。MessageType String 否 全局配置。消息类别。Queue：使用MNS队列。请...
智能生产
完成智能媒体审核作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。您可以通过QueryIProductionJob接口查询智能生产作业的状态和结果，根据智能生产任务ID...
智能审核
完成媒体审核作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细说明请参见 接收消息通知。查询作业结果。您可以通过QueryMediaCensorJobDetail接口查询媒体审核作业的状态结果，根据媒体审核任务ID...
创建分辨率倍增任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
创建窄带高清TM2.0转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
创建窄带高清TM1.0转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
智能标签
智能标签作业完成后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。通过API/SDK方式查询智能标签作业的状态结果，按照智能标签任务ID进行查询。详细参数信息请...
创建普通转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
通过Logstash将PolarDB-X（DRDS）数据同步至Elastic...
为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_...
视频DNA
视频DNA通常是一个二进制串，用来唯一标记一个视频。您可以使用视频DNA服务提取并比对视频中的图像、音频等...接收回调信息：完成作业后，如果配置了管道MNS消息通知，会向消息服务指定的队列或主题发送消息。详细说明请参见 接收消息通知。
Dataphin管道任务如何配置多个静态分区
问题描述 Dataphin管道任务如何配置多个静态分区？解决方案 多个静态分区需要使用逗号隔开。适用于 Dataphin 数据仓库静态分区
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
管道管理
} 更新管道配置 调用UpdatePipeline接口，完成更新管道配置功能。更新管道配置*@param client*@return*@throws Exception*/public static UpdatePipelineResponse updatePipeline(DefaultAcsClient client)throws Exception { ...
管道管理
更新管道配置*@param client*@return*/func UpdatePipeline(client*mts.Client)(*mts.UpdatePipelineResponse,error){ request:=mts.CreateUpdatePipelineRequest()/管道ID,可以在MPS控制台>全局设置>管道及回调查看,或通过addPipeline创建...
使用自定义组件
管道及参数配置 参数 描述 输入 单击 配置两个输入管道：输入名称 分别配置为：train、test。输入来源：OSS。是否必填 分别配置为：是、否。描述 分别配置为：训练数据、测试数据。输出 单击 配置两个输出管道：输出名称 分别配置为：model...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将根据集成任务自动解析...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
- 产品推荐
- 这些文档可能帮助您