快速入门
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对文件的不同处理。访问规则 URL通过处理参数 action1、action2 实现数据处理。如果有多任务，执行顺序按管道指定顺序执行，管道的分隔符是竖线（|...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
如果您有多topic的数据同步需求，需要在kafka中添加新的topic，然后在Logstash的管道配置中添加input。示例如下：input { kafka { bootstrap_servers=>["alikafka-post-cn-zvp2n4v7*-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-...
管道管理
本文提供了Node.js SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。添加管道 可以通过 添加管道 接口新增一个管道。import Console from '@alicloud/tea-console';import OpenApi,*as$OpenApi from '@...
SearchPipeline-搜索管道
1 State string 否 需要搜索的管道状态。如果为空则默认搜索所有管道。All：全部管道。Active：管道开启。Paused：管道暂停。默认值：All。Paused 返回参数 名称 类型 描述 示例值 object 返回参数。TotalCount long 总条数。1 PageSize ...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时，可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络，不支持Classiclink方式打通...
DeletePipeline-删除管道
请求参数 名称 类型 必填 描述 示例值 PipelineId string 是 需要删除的管道 ID。可以通过 MPS 控制台>全局设置>管道获取。d1ce4d3efcb549419193f50f1fcd*返回参数 名称 类型 描述 示例值 object 返回参数。RequestId string 请求 ID。338...
配置Vertica输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
实例列表概览
管理管道 单击右侧 操作 列下的 管道管理，可在 管道管理 页面创建并配置管道。详细信息，请参见 通过配置文件管理管道。管理实例 单击右侧 操作 列下的 实例管理，可在实例管理页面进行集群配置、插件配置、网络与安全配置、集群监控、...
配置PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PostgreSQL输出配置 对话框。在 PostgreSQL输出配置 对话框，配置参数。参数 描述 步骤名称 根据...
配置SAP HANA输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 SAP HANA输出配置 对话框。在 SAP HANA输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置PolarDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB输出配置 对话框。在 PolarDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置PolarDB输出组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB输出配置 对话框。在 PolarDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
配置OceanBase输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 OceanBase输出配置 对话框。在 OceanBase输出配置 对话框，配置参数。参数 说明 步骤名称 根据...
配置PolarDB-X输出组件
③ 将 PolarDB-X（原DRDS）组件拖到左侧的管道画布中。④和⑤ 单击上游组件④处后拖动鼠标指向下游组件⑤处中，形成有向连线。⑥ 鼠标悬停至 PolarDB-X（原DRDS）组件框内右单击，选择 属性配置。在 PolarDB-X（原DRDS）输出配置 对话框，...
智能生产
说明 此处设置的是转码、截图所使用的管道。智能封面任务需要使用的智能封面管道，请在后续节点中设置。如果下拉列表中没有管道名称，请先开启管道。具体操作，请参见 创建管道。（可选）消息通知 单击 开关按钮，选择消息队列或消息主题，...
配置MongoDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的...
创建窄带高清TM1.0转码任务
PipelineId，管道ID：请使用标准管道、倍速转码类型的管道ID。TemplateId，转码模板ID：请使用窄带高清™1.0的定制模板或预置窄带高清模板。其他参数请参见 SubmitJobs-提交转码作业 接口说明。接收回调消息。完成转码作业后，如果配置了...
智能审核
说明 此处设置的是转码、截图所使用的管道。智能审核任务需要使用的智能审核管道，请在后续节点中设置。如果 转码管道 下拉列表中没有管道名称，请先开启管道。具体操作，请参见 创建管道。（可选）消息通知 单击 开关按钮，选择消息队列或...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
ListPipelineIds
调用ListPipelineIds，设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。说明 管道管理方式分为配置文件管理和Kibana管道管理，部分区域控制台不开放Kibana管道管理。调试 您可以在OpenAPI ...
视频DNA
说明 此处设置的是转码、截图所使用的管道。视频DNA任务需要使用的视频DNA管道，请在后续节点中设置。如果下拉列表中没有管道名称，请先开启管道。具体操作，请参见 创建管道。（可选）消息通知 单击 开关按钮，选择消息队列或消息主题，在...
配置ElasticSearch输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 ElasticSearch输出配置 对话框。在 ElasticSearch输出配置 对话框，配置参数。参数 说明 步骤名称...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
UpdatePipelines
String Body 否[{"pipelineId":"test","config":"input { } filter { } output { }"}]指定更新的管道信息。RequestBody RequestBody中还需填入JSON格式的pipeline数组，用来指定更新的管道信息。名称 类型 是否必选 示例值 描述 pipelineId...
配置Hologres输出组件
操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数。参数 说明 步骤名称 即Hologres输出组件的...
ALIYUN:MPS:Pipeline
ALIYUN:MPS:Pipeline类型用于创建媒体处理的管道。语法 {"Type":"ALIYUN:MPS:Pipeline","Properties":{"Role":String,"Speed":String,"SpeedLevel":Integer,"State":String,"NotifyConfig":Map,"Name":String } } 属性 属性名称 类型 必须 ...
通过阿里云Logstash将MaxCompute数据同步至Elastic...
较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值...
DescribePipeline
调用DescribePipeline，获取Logstash实例的管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
OpenAPI列表
说明 目前开放的API主要针对离线脚码任务和管道集成任务。规范建模相关的任务运维的API暂未开放。API API说明 实例运维 GetInstanceDownstream 根据起始的实例查询该实例的下游。GetPhysicalInstanceLog 获取实例执行的日志，如果实例重跑...
通过Logstash将RDS MySQL数据同步至Elasticsearch
较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值...
ListPipeline
调用ListPipeline，获取Logstash实例的管道列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。...参见 如何进行DASH打包 不支持 CMAF协议 用CMAF协议进行打包，支持输出HLS或DASH格式。暂无 不支持 自定义分片时长...
logstash-input-sls插件使用说明
使用logstash-input-sls插件 满足以上 前提条件 后，您可以 通过配置文件管理管道 的方式创建管道任务。在创建管道任务时，按照以下说明配置管道参数。配置完成后进行保存与部署，即可触发Logstash从日志服务获取日志。注意 RAM用户使用...
配置SAP HANA输入组件
③ 拖动 SAP HANA 组件至左侧的管道画布中。④ 鼠标放置在 SAP HANA 组件框内右键单击，选择 属性配置。在 SAP HANA输入配置 对话框，配置参数后，单击 确认。参数 说明 步骤名称 即SAP HANA输入组件的名称。Dataphin自动生成步骤名称，您...
创建普通转码任务
详细操作请参见 提交转码作业，创建过程中必须按照以下步骤设置转码相关信息：PipelineId，管道ID：请使用标准管道类型的管道ID。TemplateId，转码模板ID：根据您的实际转码需要选择转码模板，如系统预置模板不能满足您的转码需求，您可以...
配置Hologres输入组件
③ 拖动 Hologres 组件至左侧的管道画布中。④ 鼠标放置在 Hologres 组件框内右键单击，选择 属性配置。在 Hologres输入配置 对话框，配置参数。参数 说明 步骤名称 即Hologres输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务...
- 产品推荐
- 这些文档可能帮助您