基于reindex实现低版本多type数据迁移
阿里云Logstash实例：通过管道配置功能，迁移处理后的数据。步骤一：转换索引类型 通过reindex，将阿里云Elasticsearch 5.x实例中的多type索引转换为单type索引。您可以通过以下两种方式来实现：合并type方式：将Elasticsearch 5.x实例中的...
使用阿里云ES监控RabbitMQ
步骤四：配置阿里云Logstash管道 配置Logstash管道，使用基本的Grok模式从原始消息中分离出时间戳、日志级别和消息，然后发送到阿里云ES中。步骤五：通过Kibana查看日志数据 通过Kibana查看经Logstash处理后的数据。步骤六：通过Kibana过滤...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时，可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络，不支持Classiclink方式打通...
配置AnalyticDB for PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for PostgreSQL输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出 前的 图标。③ 将 AnalyticDB ...
Elasticsearch授权资源
elasticsearch:DescribePipeline 查看管道配置。elasticsearch:UpdatePipelines 更新管道配置。elasticsearch:RunPipelines 立即部署管道。elasticsearch:StopPipelines 停止运行管道。elasticsearch:UpdatePipelineManagementConfig 更新...
查询分析RocketMQ客户端日志
步骤二：创建并运行Logstash管道 通过管道配置，使用 Grok filter插件 处理Filebeat采集的RocketMQ客户端日志，然后同步到阿里云ES中。步骤三：模拟RocketMQ客户端日志 在安装Filebeat的ECS上运行RocketMQ客户端测试工程，生成日志数据。...
OpenAPI列表
PipelineCommand 管道配置。PipelineObject 管道对象。PipelineSettings 任务通道配置。PipelineTreeNodeBriefDTO 简要管道目录树信息。QueryPipelineDirectoryTreeCommand 查询管道目录树。ScheduleCommand 管道调度配置。StepCommand ...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。...具体操作，请参见 通过离线单条管道配置集成任务。
配置解密转换组件
更多信息，请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照以下操作指引，进入 字段解密配置 页面。单击 组件库->单击 转换->单击 解密->连接 图标->单击 图标。在 字段...
步骤三：引入数据
步骤三：配置管道脚本的调度参数 在管道脚本页面，单击 调度配置。在 调度配置 页面，配置 调度依赖 区域参数，其他参数保持默认。参数 描述 上游依赖 单击 添加根节点 为上游依赖。单击 确定。步骤四：提交和发布离线单条管道脚本 单击...
步骤三：引入数据
步骤三：配置管道脚本的调度参数 在管道脚本页面，单击 调度配置。在 调度配置 页面，配置 调度依赖 区域参数，其他参数保持默认。参数 描述 上游依赖 单击 添加根节点 为上游依赖。单击 确定。步骤四：提交和发布离线单条管道脚本 单击...
通过阿里云Logstash将MaxCompute数据同步至Elastic...
当您需要将MaxCompute离线表中的数据同步到阿里云Elasticsearch中时，可以通过阿里云Logstash的logstash-input-maxcompute插件和管道配置功能实现。本文介绍对应的配置方法。前提条件 您已完成以下操作：开通阿里云MaxCompute产品，并完成...
配置加密转换组件
前提条件 已创建离线单条管道，详情请参见 通过离线单条管道配置集成任务。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照以下操作指引，进入 字段加密配置 页面。单击 组件库->单击 转换->单击 加密->连接 图标...
实例列表概览
管理管道 单击右侧 操作 列下的 管道管理，可在 管道管理 页面创建并配置管道。详细信息，请参见 通过配置文件管理管道。管理实例 单击右侧 操作 列下的 实例管理，可在实例管理页面进行集群配置、插件配置、网络与安全配置、集群监控、...
logstash-input-sls插件使用说明
在创建管道任务时，按照以下说明配置管道参数。配置完成后进行保存与部署，即可触发Logstash从日志服务获取日志。注意 RAM用户使用logstash-input-sls插件前，还需要在日志服务侧设置消费组相关的权限策略，详细信息请参见 RAM用户授权。以...
一字管道
步骤二：配置样式 在右侧 样式 中，配置管道的 流动效果。说明 当您关闭 流动效果 后，该组件仅作为显示组件，不再支持流动效果配置。配置项 说明 流动动画 配置管道的动画开启。支持静态和动态（关联设备）配置。静态 开：开启管道动画，...
配置扩展文件
重要 为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_...
配置ArgoDB输出组件
重要 表schema发生变更需要重新配置管道任务。文件编码 根据实际数据情况，选择编码格式。支持 UTF-8 和 GBK。加载策略 覆盖数据：即以当前来源表为准，覆盖目标表中的历史数据。覆盖数据策略下，当主键/约束冲突时，会先删除原数据，再...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
Dataphin管道任务失败，报错“error occurred where ...
Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式的表，可以追加字段，只要不读取新加的字段就行，而ORC和Parquet格式是具有Schema的，一定要保证写入的数据文件的...
Dataphin管道任务配置页面可以显示表字段，数据库连接...
问题描述 Dataphin管道任务配置页面可以显示表字段，数据库连接测试也正常，但是执行该管道任务报错“ERROR DBUtil-get connection error com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure”。...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
Logstash性能排查
检查管道参数配置 管道工作线程：该参数值设置使用多少线程来处理filter和output任务，默认为CPU核数。如果CPU使用率不高，可适当调大该参数，提高处理性能。管道批大小：该参数设置每个独立的工作线程，对接收到的多少个事件做filter和...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
配置PolarDB输出组件
本文为您介绍如何配置PolarDB组件。操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。...后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 管道调度配置。
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制...后续步骤 完成输出组件的配置后，下一步您可以配置离线单条管道的调度相关信息。具体操作，请参见 周期性管道调度配置。
DescribePipeline
支持：NOT_DEPLOYED：未部署 RUNNING：运行中 DELETED：已删除（控制台不展示此状态）说明 未配置的管道参数将使用系统默认值，不会在返回结果中显示。示例 请求示例 GET/openapi/logstashes/ls-cn-oew1qbgl*/pipelines/pipeline_test ...
腾讯云ES数据迁移至阿里云
步骤二：创建并配置Logstash管道 通过配置文件管理方式创建并配置Logstash管道，配置时设置input为腾讯云Elasticsearch，output为阿里云Elasticsearch。说明 您也可以使用自建Logstash，需要在服务器上安装JDK（1.8及以上版本）以及相应...
DescribePipelineManagementConfig
调用DescribePipelineManagementConfig，获取Logstash管道管理配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊...
SAE日志导入Kafka最佳实践
elastic 在 管道参数配置 页签，配置相关参数，单击 保存并部署。本示例以默认配置为准，您可以按需修改。在 提示 对话框，单击 确认。步骤四：搜索数据 您可以在Kibana控制台搜索通过管道导入阿里云Elasticsearch的数据，确认数据是否导入...
UpdatePipelines
config String 是 input { } filter { } output { } 管道具体配置。workers Integer 否 2 管道工作线程数。batchSize Integer 否 125 管道批大小。batchDelay Integer 否 50 管道批延迟。单位ms。queueType String 否 MEMORY 队列类型。...
CreatePipelines
config String Body 是 input { } filter { } output { } 管道具体配置。workers Integer Body 否 2 管道工作线程数。默认值：实例的CPU核数。batchSize Integer Body 否 125 管道批大小。默认值：125。batchDelay Integer Body 否 50 管道...
- 产品推荐
- 这些文档可能帮助您