数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
什么是Logtail
数据采集可靠性 Logtail在采集日志时，定期将采集的点位（CheckPoint）信息保存到本地，如果遇到服务器意外关闭、进程崩溃等异常情况时，Logtail重启后会从上一次记录的位置开始采集数据，尽可能保证数据不丢失。Logtail会根据启动参数配置...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
查询分析RocketMQ客户端日志
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Filebeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当...
创建Kudu数据源
Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的要求。从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群 节点上 执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的...
节点诊断
重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常...
诊断项与诊断结果说明
系统防火墙状态检查 检查系统防火墙是否打开。检查该实例的防火墙。如果实例开启了防火墙，并设置了屏蔽外界访问的规则，可能会导致无法远程连接实例。开启和关闭防火墙的方法，请参见 开启或关闭Linux实例中的系统防火墙 ...
小文件优化及作业诊断常见问题
Tunnel数据采集过程中产生的小文件，通过如下方式处理：调用Tunnel SDK时，当缓存达到64MB时提交一次。使用客户端时避免频繁上传小文件，建议积累较大时一次性上传。如果导入的是分区表，建议给分区设置生命周期，过期不用的数据自动清理。...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
应用采集器常见问题
本文档介绍了您在使用应用采集器过程中遇到的常见问题。端口9996被占用报错如何处理？分别修改collector/collector.config和javaagent/javaagent.config配置项。collector.listen.port=9996 profiler.collector.port=9996 找不到JAVA_HOME...
图扑案例
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战，更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地，企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
采集MySQL Binlog（计划弃用）
重要 日志服务后续计划不再支持MySQL Binlog采集插件，当前已不支持新用户新建采集配置，原有的采集配置仍能正常使用，建议您使用DataWorks或Flink进行采集。具体操作，请参见 MySQL、MySQL数据源。原理 Logtail内部实现了MySQL Slave节点...
采集SQL Server查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持采集SQL Server数据库的...
使用阿里云ES监控RabbitMQ
Filebeat文件目录需要填写RabbitMQ日志所在的目录，同时需要在YML配置中开启log数据采集，并配置log路径。本文使用的 filebeat.yml 中的 filebeat.inputs 配置如下。filebeat.inputs:#Each-is an input.Most options can be set at the ...
采集PostgreSQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持采集PostgreSQL数据库的...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
日志服务采集数据常见的错误类型
在配置更新时，canal服务可能重启，服务重启的错误可以忽略。CANAL_INVALID_ALARM MySQL Binlog内部状态异常。此错误一般由于运行时表的schema信息变更导致meta不一致。请确认报错期间是否修改过表的schema。其他情况，请提交 工单。MYSQL_...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
自定义配置
信息脱敏设置 在 信息脱敏设置 区域，通过设置脱敏规则，探针将对JVM系统参数、K8s Yaml、方法入参、Arthas环境变量和系统变量等内容在采集时就进行脱敏处理。脱敏规则中各元素通过英文半角逗号分隔，每一个元素代表一个不区分大小写的正则...
导入Elasticsearch数据
本文介绍如何将Elasticsearch数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Elasticsearch集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。创建数据导入配置 登录 日志服务...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
集群管理常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
DBGateway常见问题
本文介绍DBGateway的目录结构、基本操作和常见问题处理。DBGateway目录结构 dbgateway|-bin|-dbgateway|\-dbgateway-manager|-conf|-dbgateway.conf|\-server.crt \-log|-dbgateway.err|-dbgateway.log \-dbgateway_manager.log 说明 bin ...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
自定义配置
信息脱敏 在 信息脱敏 区域，通过设置脱敏规则，探针将对JVM系统参数、K8s Yaml、方法入参、Arthas环境变量和系统变量等内容在采集时就进行脱敏处理。脱敏规则中各元素通过英文半角逗号分隔，每一个元素代表一个不区分大小写的正则表达式，...
如何排查容器日志采集异常
x86_64","update_time":"2018-02-05 06:09:01"} 误删由CRD创建的Logstore后，如何处理 如果您删除了由CRD自动创建出的Logstore，则已采集的数据无法恢复，并且针对此Logstore的CRD配置会失效，您可以选择以下方案避免日志采集异常。...
采集Docker事件
Logtail在重启或停止期间，无法采集容器事件。应用场景 监控所有容器的启停事件，当核心容器停止后立即告警。采集所有容器事件，用于审计、安全分析、问题排查。监控所有镜像的拉取事件，如果拉取非合法路径的镜像时立即告警。操作步骤 ...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
使用实例时镜像相关问题
在使用ECS实例过程中，可能会遇到一些与镜像有关的问题或咨询，比如实例启动慢、系统负载高、如何编译内核等。本文介绍在使用ECS实例过程中遇到的镜像相关问题及解决方案。Windows镜像问题 如何手动更新Windows实例的virtio驱动？Windows ...
- 产品推荐
- 这些文档可能帮助您