查询分析RocketMQ客户端日志
填写Filebeat文件目录 填写数据源所在的目录，同时需要在YML配置中开启log数据采集，并配置log路径。采集器Yml配置 开启log数据采集，将 enabled 修改为 true。修改 paths 为具体的日志文件路径，与Filebeat文件目录保持一致。调整...
接入Nginx监控数据
本文介绍如何通过日志服务来完成Nginx监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。已配置Nginx Status模块。具体操作，请参见 配置Nginx Status模块。使用限制 只有...
常见问题
数据采集常见问题 Logtail基本问题 Logtail采集日志失败的排查思路 如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中IP地址为空导致机器...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
接入Elasticsearch监控数据
本文介绍如何通过日志服务来完成Elasticsearch监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接Elasticsearch服务器。已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有...
支持的云服务
通过DataWorks配置数据同步任务，请参见 通过DataWorks同步数据。更多 AnalyticDB for MySQL 信息，请参见 云原生数据仓库 AnalyticDB MySQL 版。表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute...
数据脱敏
您在使用Logtail采集日志时，可以使用processor_desensitize插件，将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
Logtail支持Docker和Containerd两种容器引擎的数据采集，访问路径说明如下：Docker：Logtail通过/run/docker.sock 访问Docker，请确保该路径存在且具备访问权限。Containerd：Logtail通过/run/containerd/containerd.sock 访问Containerd，...
设置日志收集至SLS
配置后，在开启日志收集服务的基础上，Logtail采集性能将得到提升，有效解决日志文件占用内存大、日志数据流量大和Logtail发送数据速率高等影响日志采集的瓶颈问题。您需要在 环境变量设置 区域内，选择 自定义 或 引用配置项 的方式，并...
系统配置
详情请参见 配置数据识别规则。若关闭每日自动识别任务的敏感数据，系统将不会每天自动识别敏感数据并更新识别结果，且保留最近一次的识别结果。敏感数据识别范围默认扫描主账号或子账号能够获取到的所有项目。识别范围：支持选择是否包含...
元数据采集的数据源有白名单访问控制时需要配置的白...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
通过日志服务导入至数仓版
具体操作，请参见 数据采集。在AnalyticDB MySQL中已完成以下准备工作。在日志服务Project所在地域，创建AnalyticDB MySQL集群。具体操作，请参见 创建集群。说明 目前日志服务仅支持同地域投递。创建数据库账号。具体操作，请参见 创建...
阿里云流播放器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
巡检报表（专有云）
该数据统计 报表生成时间 这一时刻的配置和采集状态，每 20 分钟计算一次。说明 是否正常采集 表示在统计时刻，针对每一条报警规则，系统会检测是否采集了足够的监控数据，从而判断配置的报警规则是否生效，帮助用户排查因数据不全导致的...
S3M BIM
S3M BIM是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M BIM的通用配置和交互配置样式。本文介绍S3M BIM配置项的含义。在场景编辑器左侧图层列表中，单击 S3M BIM 图层，进入配置面板配置 S3M BIM 图层的样式和数据。说明 当前...
S3M管网
S3M管网是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M管网的通用配置和交互配置样式。本文介绍S3M管网配置项的含义。在场景编辑器左侧图层列表中，单击 S3M管网 图层，进入配置面板配置 S3M管网 图层的样式和数据。说明 当前...
S3M BIM
S3M BIM是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M BIM的通用配置和交互配置样式。本文介绍S3M BIM配置项的含义。在场景编辑器左侧图层列表中，单击 S3M BIM 图层，进入配置面板配置 S3M BIM 图层的样式和数据。说明 如果...
S3M管网
S3M管网是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M管网的通用配置和交互配置样式。本文介绍S3M管网配置项的含义。在场景编辑器左侧图层列表中，单击 S3M管网 图层，进入配置面板配置 S3M管网 图层的样式和数据。说明 如果...
S3M倾斜摄影
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
S3M倾斜摄影
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
ADAM概览
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
Elastic Agent采集自定义日志数据
Fleet主要分为Fleet Server和Fleet Agent两部分，Fleet Agent是一个轻量级的数据采集代理，负责在源端收集数据。Fleet Server是Fleet的中心节点，负责管理和监控所有Fleet Agent，并将数据传输到Elasticsearch。名词解释 名词 说明 Fleet ...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
在 日志库 列表中，单击目标Logstore名称前的>>数据处理>导出>AnalyticDB 后的+，在数据投递参数配置页面进行参数配置。参数 说明 投递名称 为数据投递取一个名字，便于后续管理。投递描述 为数据投递添加一段描述。集群版本 选择2.0。数据...
自定义区域下钻层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
萤石云播放器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
转换IP地址
配置示例 将日志中的IP地址转换成对应的地理位置，示例如下：原始日志"source_ip":"*.*.*.*"Logtail插件处理配置 处理结果"source_ip":"*.*.*.*""source_ip_province_":"浙江省""source_ip_city_":"杭州""source_ip_province_code_":"ZJ"...
数据质量概述
报告模板管理 报告模板管理页面支持您创建报告模板，添加规则配置和规则运行的各项指标，根据设置的统计周期、发送时间和订阅信息，定时生成并发送报告。规则模板库 数据质量支持自建规则模板库，对通用的自定义监控规则进行统一管理，形成...
Kafka实时入湖
配置数据源。数据源连接：Kafka数据源需要提前在 数据源管理 中创建，目前支持阿里云消息队列Kafka与EMR Kafka集群。订阅Topic：Kafka Topic的名称，一个入湖任务仅支持订阅一个Topic，不支持同时订阅多个Topic。数据预处理。目前Kafka入湖...
投递RDS MySQL日志到日志服务
说明 CloudLens for RDS方式和接入数据-RDS审计方式中的采集配置是互通的。日志审计服务中的RDS SQL审计日志采集配置为独立的采集渠道，不受另外两种采集方式影响。CloudLens for RDS 入口：在日志服务控制台首页的 日志应用 区域的 审计与...
音频
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
自定义区域下钻层（v4.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
场景管理器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
视频
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
RTMP视频流播放器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
产品概述
数据总线 DataHub服务可以对各种移动设备，应用软件，网站服务，传感器等产生的大量流式数据进行持续不断的采集，存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线 DataHub的流式数据比如实时Web访问日志、应用...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
启用控制平面日志采集和日志告警（旧版）
网格规则配置不符合规范要求导致从网格控制面推送配置失败 以下表格列出了常见的数据面同步失败错误信息和处理建议，如果您没有找到对应的错误信息，请 提交工单。错误信息 处理建议 Internal:Error adding/updating listener(s)0.0.0.0_...
甜甜圈层
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
- 产品推荐
- 这些文档可能帮助您