通过Logstash实现多字段数据整合
可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。验证结果 登录目标阿里云Elasticsearch的Kibana控制台。具体操作请参见 登录Kibana控制台。根据页面...
查询分析RocketMQ客户端日志
可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。步骤三：模拟RocketMQ客户端日志 连接安装了Filebeat的ECS实例。具体操作步骤请参见 连接实例。搭建...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。步骤三：查看日志消费状态 进入 消息队列Kafka控制台。参见 查看消费状态，查看详细消费状态。预期...
什么是阿里云Logstash
阿里云Logstash作为服务器端的数据处理管道，提供了100%兼容开源Logstash的能力。Logstash能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选位置。通过输入、过滤和输出插件，Logstash可以加工和转换任何类型的事件。为什么...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
如果自建Redis开启了AOF，重启服务时，会优先使用AOF文件恢复数据，可能导致RDB文件的数据不能成功恢复到Redis中。此时，请关闭AOF。如果指定目录（dir）中的AOF文件备份到其他目录下，再重启Redis。重启后，如需打开AOF，可以执行 redis-...
Dataphin管道任务执行了2个小时被killed，报错“kill ...
问题描述 Dataphin管道任务执行了2个小时被killed，报错“kill executableTaskrun:XXXXX because task[XXXX]should expire before 2022-03-28 14:05:34”。完整的报错信息如下：2022-03-28 14:05:42.454[Metric-collector-1]INFO VMInfo-...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
Logstash配置文件说明
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。本文为您介绍阿里云Logstash管道配置文件的详细说明。本文内容参考...
重启变更报错：集群状态不健康或存在close索引，不能...
本文介绍重启变更报错的详细说明、可能原因及解决方案。报错说明 当您触发了Elasticsearch实例重启变更时，系统提示“集群状态不健康或存在close索引，不能执行当前操作，建议待集群状态稳定或开启已关闭的索引后再试”。问题原因及解决...
将云消息队列 Kafka 版接入阿里云Elasticsearch
主要适用于系统宕机后恢复状态，系统重启后重新加载缓存等场景。例如，在使用Kafka Connect或Confluent Schema Registry时，需要使用Kafka Compact Topic存储系统状态信息或配置信息。重要 Compact Topic一般只用在某些生态组件中，例如...
Dataphin管道任务从SqlServer抽取数据时，空字符串的...
产品名称 Dataphin 产品模块 管道任务 概述 本文描述了当使用管道从SqlServer抽取数据时，SqlServer中存在空字符串的处理方法。问题描述 当您使用管道从SqlServer抽取数据时，有个字段数据存在有空字符串，想用字段计算给它换掉,希望将空串...
弹性搜索的审计事件
CreatePipelines 创建Logstash管道。CreateSnapshot 手动创建Elasticsearch集群快照备份。CreateVpcEndpoint 创建Elasticsearch服务账号VPC下的终端节点。DeactivateZones 当Elasticsearch实例有多个可用区时，下线部分可用区，并将下线的...
阿里云Elasticsearch数据采集解决方案
Logstash通过事件处理管道来执行任务，其中每个管道至少包含以下各项中的一个：输入 从数据源读取数据。官方支持多种数据源，包括文件、http、imap、jdbc、kafka、syslog、tcp和udp。过滤器 以多种方式处理和丰富数据。在许多情况下，需要...
API概览
ListPipelineIds 设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。Beats API 描述 CreateCollector 创建采集器。DescribeCollector 获取采集器实例的详细信息。ReinstallCollector 重试安装在创建...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细操作请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
基于reindex实现低版本多type数据迁移
可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。步骤三：查看数据迁移结果 登录高版本Elasticsearch实例的Kibana控制台。具体操作，请参见 登录...
DBMS_PIPE
DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE Function 返回缓冲区中下一个数据成员的数据类型。PACK_MESSAGE Procedures 将一个数据项放入会话的本地消息缓冲区中。UNPACK_MESSAGE Procedures...
管道管理
本文提供了Python SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。搜索管道 可以直接通过 SearchPipeline 接口搜索管道信息。import os from aliyunsdkcore.client import AcsClient from aliyunsdkcore.acs_...
通过Logstash修改字段名
可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。步骤三：验证结果 登录目标阿里云Elasticsearch的Kibana控制台。具体操作请参见 登录Kibana控制台。...
阿里云Elasticsearch支持被审计的事件说明
CreatePipelines 创建Logstash管道。CreateSnapshot 手动创建Elasticsearch集群快照备份。CreateVpcEndpoint 创建Elasticsearch服务账号VPC下的终端节点。DeactivateZones 当Elasticsearch实例有多个可用区时，下线部分可用区，并将下线的...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。创建管道 可以通过AddPipeline接口...
Elasticsearch授权资源
管道管理 Action Resource Action描述 elasticsearch:CreatePipelines acs:elasticsearch:<yourRegionId>:<yourAccountId>:logstashes/创建管道。elasticsearch:ListPipeline 查看管道列表。elasticsearch:DescribePipeline 查看管道配置。...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先安装及完成...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
Dataphin管道任务中对上游数据解密后进行同步，报错...
问题描述 Dataphin输入组件中来源表的数据在上游通过UDF函数进行了加密，管道任务通过解密组件对数据进行解密之后再同步到目标表。管道任务运行报错“解密数据异常,请检查配置！java.lang.Exception:AES decrypt error”。完整的异常如下：...
Dataphin离线管道任务执行失败了，但目标表却被清空了
问题描述 Dataphin离线管道任务执行失败了，但目标表却被清空了是什么原因？解决方案 输出组件有准备语句（preSql）和完成语句（postSql），管道任务的执行逻辑是会先执行准备语句，然后再执行同步数据任务进行数据传输，然后执行完成语句...
Dataphin管道任务下选择了SQL SERVER数据源但是找不到...
问题描述 Dataphin管道任务下选择了SQL SERVER数据源但是找不到用户下的表，但是数据库中实际是有表的。问题原因 数据源中配置的Schema错误。解决方案 老版本的SQL Server 内的对象命名是“服务器.数据库.用户名.对象”，但新版的对象命名...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
集群变更概述
阿里云Elasticsearch集群支持重启实例或节点、升降配实例、版本升级、部署和使用跨可用区实例、迁移可用区节点 和使用写入高可用特性 等功能。当您使用了某个功能对集群做了变更操作后，均可以通过查看实例任务进度详情查看正在进行中的...
查看变更进度和变更记录
对阿里云Elasticsearch（ES）实例进行了集群配置、重启、扩容、缩容等变更操作后，您可以在变更记录页面查看变更的进度和状态。同时您还可以在变更记录页面了解该实例近30天的历史变更记录。背景信息 变更记录页面仅展示实例近30天的历史...
配置作业部署信息
选择基于固定间隔重启后，您可以结合实际业务场景修改 尝试重启的次数 和 每次重启时间间隔 参数的取值。No Restarts：不会重启。其他配置 在此设置其他Flink配置。例如 akka.ask.timeout:10。日志配置 参数 说明 日志归档 默认已开启日志...
Dataphin配置集成管道任务，提示选择复制还是轮流分发...
概述 本文主要描述了Dataphin配置集成管道任务，提示选择复制还是轮流分发的区别。详细信息 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。轮流分发：上游节点的数据根据下游节点数量...
为Java应用手动安装探针
您可以使用探针（SDK）接入方式，低代码改造接入MSHA多活容灾，实现多活容灾服务层和数据层的功能。本文介绍如何安装和卸载...重启应用后，在 探针管理 页面，若您的应用在列表中状态显示为 离线，或在列表中不再显示，则说明探针卸载成功。
作业调试
重要 如果您没有配置该参数，则按Apache Flink默认的重启策略，即当有Task失败时，如果没有开启Checkpoint，JobManager进程不会重启。如果开启了Checkpoint，则JobManager进程会重启。其他配置 在此设置更多Flink配置。例如 taskmanager....
ECS环境自动安装探针
初次接入时，您只需重启一次应用进程即可完成探针接入，无需修改应用启动脚本。后续探针的升级、维护，也将由ARMS探针底座自动完成，无需人工参与。本文介绍如何为ECS主机应用安装ARMS探针。前提条件 请确认您的应用部署在阿里云的ECS...
托管节点池节点自动恢复
如果打开了 当节点故障时重启节点 开关，则重启ECS实例。KubeletNotReady(PLEG)PLEG健康检查失败，导致节点NotReady。中 180s 重启containerd或Docker。重启kubelet。如果打开了 当节点故障时重启节点 开关，则重启ECS实例。...
使用Logstash管道配置调试功能
当Logstash管道配置出现错误时，可能导致输出数据结果不符合预期，需要反复去目标端确认数据格式，再返回控制台修改配置，这样会耗费大量的时间和人力。对于这种情况，您可以通过阿里云Logstash提供的管道配置调试功能，在管道配置完成后，...
- 产品推荐
- 这些文档可能帮助您