CreatePipelines
config String Body 是 input { } filter { } output { } 管道具体配置。workers Integer Body 否 2 管道工作线程数。默认值：实例的CPU核数。batchSize Integer Body 否 125 管道批大小。默认值：125。batchDelay Integer Body 否 50 管道...
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 管道调度配置。
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置AnalyticDB for MySQL 3.0输出组件
AnalyticDB for MySQL 3.0输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至AnalyticDB for MySQL 3.0数据...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
弹性搜索的审计事件
DescribePipelineManagementConfig 查询Logstash管道管理配置。DescribeRegions 查询阿里云Elasticsearch支持的地域信息。DescribeSnapshotSetting 查询Elasticsearch集群的数据备份配置。DescribeTemplates 查询Elasticsearch实例的场景...
配置FTP输出组件
也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。...
配置FTP输出组件
也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 您需要配置输出字段。...
通信消息相关问题
配置消息转发订阅设备上报的自定义Topic消息。配置AMQP服务端订阅：在物联网平台配置 推送消息类型 为 设备上报消息。配置数据转发到AMQP服务端订阅消费组：在消息解析器中使用函数 payload('binary')将设备上报数据转换成二进制变量进行透...
阿里云Elasticsearch支持被审计的事件说明
DescribePipelineManagementConfig 获取Logstash管道管理配置。DescribeRegions 获取阿里云Elasticsearch支持的地域信息。DescribeSnapshotSetting 获取Elasticsearch集群的数据备份配置。DescribeTemplates 获取Elasticsearch实例的场景...
API概览
DescribePipelineManagementConfig 获取Logstash管道管理配置。DeletePipelines 删除指定的Logstash管道。ListPipelineIds 设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。Beats API 描述 ...
通信监测
通信监测功能可以查询指定AppID下全链路通话数据（包含通信质量和频道数据）。通过阅读本文，您可以了解通信监测的查询方法和通信监测作用。操作步骤 登录 音视频通信RTC控制台。在左侧导航栏选择 观星台>通信监测，进入通信监测界面。选择...
通信监测
通信监测功能可以查询指定AppID下全链路通话数据（包含通信质量和频道数据）。通过阅读本文，您可以了解通信监测的查询方法。操作步骤 登录 音视频通信RTC控制台。在左侧导航栏选择 观星台>通信监测，进入通信监测界面。选择待查询的AppID...
智能生产
完成智能媒体审核作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。您可以通过QueryIProductionJob接口查询智能生产作业的状态和结果，根据智能生产任务ID...
智能审核
完成媒体审核作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细说明请参见 接收消息通知。查询作业结果。您可以通过QueryMediaCensorJobDetail接口查询媒体审核作业的状态结果，根据媒体审核任务ID...
创建分辨率倍增任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
创建窄带高清TM2.0转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
创建窄带高清TM1.0转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
智能标签
智能标签作业完成后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。通过API/SDK方式查询智能标签作业的状态结果，按照智能标签任务ID进行查询。详细参数信息请...
创建普通转码任务
完成转码作业后，如果配置了管道MNS消息队列事件通知，会向消息服务指定的队列或主题发送消息。详细信息请参见 接收消息通知。查询作业结果。调用 查询转码作业 接口查询执行结果，获取输出文件URL。调用 遍历转码作业 接口，通过管道ID、...
视频DNA
视频DNA通常是一个二进制串，用来唯一标记一个视频。您可以使用视频DNA服务提取并比对视频中的图像、音频等...接收回调信息：完成作业后，如果配置了管道MNS消息通知，会向消息服务指定的队列或主题发送消息。详细说明请参见 接收消息通知。
管道管理
管道ID,可以在MPS控制台>全局设置>管道及回调查看,或通过addPipeline创建/支持查询多个管道ID,一次最多查询10个,使用半角逗号（,）分隔 request.setPipelineIds("e03549d796fad2bcb32a*");return client.getAcsResponse(request);} 通过...
管道管理
更新管道配置*@param client*@return*/func UpdatePipeline(client*mts.Client)(*mts.UpdatePipelineResponse,error){ request:=mts.CreateUpdatePipelineRequest()/管道ID,可以在MPS控制台>全局设置>管道及回调查看,或通过addPipeline创建...
自研驱动
驱动配置 参数 描述 配置格式 有如下三种配置格式：键值对配置 JSON格式 配置文件 键值对配置表 配置格式 为 键值对配置 时显示的参数。单击 新增配置，通过设置 配置名称、值、注释 来配置驱动。最多添加100个键值对。配置内容 配置格式 ...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
使用自定义组件
管道及参数配置 参数 描述 输入 单击 配置两个输入管道：输入名称 分别配置为：train、test。输入来源：OSS。是否必填 分别配置为：是、否。描述 分别配置为：训练数据、测试数据。输出 单击 配置两个输出管道：输出名称 分别配置为：model...
通过Logstash切分数据并提取到字段中
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { beats { port=>8001 } } filter { mutate { gsub=>["message","\|","|"]split=>["message","|"]add_field=>{"mobile"=>"%{[message][1]}""appName"=>"%{...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将根据集成任务自动解析...
查询分析RocketMQ客户端日志
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的Config配置如下。input { beats { port=>8000 } } filter { grok { match=>{"message"=>"%{TIMESTAMP_ISO8601:log_time}%{LOGLEVEL:log_level}%{GREEDYDATA:log_message}"} } } ...
通过Logstash实现多字段数据整合
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置是在同一个实例中实现的，如果源实例和目标实例不同，可以替换Logstash中的配置。input { elasticsearch { hosts=>["http://es-cn-tl3264bqv001d*.elasticsearch.aliyuncs....
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将...
Dataphin中管道任务中输入配置数据库切分键设置方法
概述 Dataphin中管道任务中输入配置数据库切分键设置方法。详细信息 管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。如果设置的切分键不是主键或者索引，会...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
TCP连接超时时间配置
概述 用户的客户端调用API网关的引擎，API网关的引擎调用用户的后端服务，目前都使用的是TCP连接，关于TCP连接，一些超时时间的配置会影响到整个通信过程，配置不合理会导致不同情形的问题，甚至导致故障。本文档站在API网关的角度对API...
跨域设置
说明 仅 双网关跨域通信场景 下需要维护全局的机房（网络区域）信息，如每个机房或者网络区的网关地址、注册中心的地址等，以保证网络的正常通信。该配置为全局配置，仅管理员角色可以修改全局配置，配置完成后在其他工作区（workspace）中...
查看并管理手动任务
手动任务详情支持的操作 手动任务详情为您展示计算任务和管道任务的配置详情。同时，支持对该任务进行运维管理。操作 描述 刷新 刷新当前手动任务。运行任务 手动触发运行手动任务：单击 运行。在 运行 对话框中，您可以修改 实例名称、...
- 产品推荐
- 这些文档可能帮助您