服务器数据采集方案概述
本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和Kibana开发工具四种方法，您可以根据需求和环境，选择合适的方法或工具来采集数据。通过Filebeat采集...
采集企业内网服务器日志
本文以Nginx为例，介绍配置正向代理服务器以及通过代理模式将企业内网服务器日志采集到日志服务的解决方案。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已在服务器上安装Linux Logtail 1.5.0及...
数据管理DMS中服务器监控数据的采集频率
本文对数据管理控制台中...关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据管理控制台页面，显示的服务器监控数据，是每隔30秒获取一次数据，如下图所示。关闭数据管理控制台的页面，会自动停止控制台监控数据的采集。
通过Logtail跨阿里云账号采集日志
本文介绍跨阿里云账号采集服务器日志的操作步骤。背景信息 您要通过Logtail采集服务器日志时，在服务器上安装Logtail后，还需配置日志服务所在阿里云账号ID为用户标识，表示该账号有权限通过Logtail采集该服务器日志。否则在机器组中会显示...
InstallCmsExporter-安装云服务采集器
安装云服务采集器。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
InstallCmsExporter-安装云服务采集器
安装云服务采集器。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
（Linux）IDC采集字段明细
该文档描述了云迁移中心CMH的IDC信息采集工具采集您的服务器的核心信息。规格 工具将会采集目标服务器的/proc 文件系统中的规格信息，重点举例为如下字段：字段名 字段含义 CPU CPU型号和数量 Load 任务负载情况 Memory 内存大小和使用情况...
资产指纹调查
云安全中心提供资产指纹调查功能，支持采集服务器资产的11种资产指纹数据。本文介绍如何使用资产指纹调查功能采集及查看服务器的资产指纹数据。背景信息 首次使用资产指纹调查功能时，建议您通过设置资产指纹的采集频率，自动采集您所有...
Elastic Agent采集自定义日志数据
在一个Fleet Server中添加多个代理，每个代理采集各自服务器中的数据，数据由Fleet Server统一管理。在 Fleet 页面，单击 代理策略 页签。在代理策略custom-log的 操作 列，选择>添加代理。在 添加代理 控制面板，在 为Fleet服务器选择策略...
日志同步分析概述
Elastic Agent采集NetFlow日志数据 NetFlow是一种网络流量分析技术，用于监测、分析和诊断网络流量，通过Elastic Agent采集服务器上的NetFlow日志数据，帮助管理员实现对服务器网络流量的实时监控和分析。Elastic Agent采集自定义日志数据 ...
离线采集IDC资源（Windows）
主流的类Windows 系统，详情请参考文档：支持列表 运行环境准备 Windows IDC资源采集工具（简称 win-scanner）需要安装和运行在工具服务器上，最佳的工具服务器应该是传统运维系统中的跳板机，工具服务器与其他被采集服务器需要在同一网络...
离线采集IDC资源（Linux）
操作视频 准备工作 重要 目前被调研机器仅支持类Unix 系统，详情请参考文档：支持列表 运行环境准备 服务器选择 IDC资源采集工具（简称idc-scanner）需要安装和运行在工具服务器上，工具服务器与其他被采集服务器需要 SSH 互通，最佳的工具...
选择网络
本文介绍使用Logtail采集日志时，如何选择网络。网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、...服务器在国外，建议使用全球加速采集服务器日志，相比公网传输的网络稳定性更高、性能更好。
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
数据采集概述
日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析...
最佳实践概览
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
功能特性
具体说明如下：支持采集服务器与应用相关的日志、时序数据和链路数据。支持采集物联网设备日志。支持采集阿里云产品日志。支持采集移动端数据。支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。支持通过HTTP、HTTPS...
同步MaxCompute
当移动数据分析自带的基础分析报表不能满足App开发者的个性化需求时，App开发者可以将数据一键同步至MaxCompute，结合自己的业务需求来进一步加工、分析...partition_time（ds,hh,mm）:分区时间，采集服务器数据到达 MaxCompute 源表的时间。
功能特性
Web站点 采集服务器中的Web站点信息，可帮助您了解资产中的Web站点详情。IDC探针发现 如果您在IDC服务器中配置了IDC探针，该功能展示在IDC机房内探测到的其他IDC服务器信息，可帮助您了解IDC内服务器的基本情况。安全检查 执行一键检查后，...
采集Windows事件日志
默认为空，表示不根据事件时间进行过滤，采集服务器上所有的历史事件日志。说明 该选项仅在首次配置采集时生效，Logtail会记录事件采集的Checkpoint，保证不会重复采集事件日志。Level String 否 根据事件等级过滤日志，默认值为 ...
采集标准Docker容器日志
采集宿主机文本日志的操作步骤与采集服务器文本日志相同。具体操作，请参见 采集文本日志。重要 默认情况下，宿主机根目录会被挂载到Logtail容器的/logtail_host 目录。在Logtail配置中，设置日志路径时，您需要加上此前缀。例如需要采集宿...
（Windows）IDC调研字段明细
该文档描述了云迁移中心 CMH 中 Windows 系统的 IDC 调研工具采集您的服务器的核心信息。本工具主要获取 Windows 操作系统中 Windows Management Instrumentation（WMI，Windows管理工具）来获取 Windows 服务器硬件和系统的相关信息。规格...
采集Syslog
如果通过其他服务器采集本机syslog，配置转发地址为其他服务器的公网IP地址，端口为任意非知名的空闲端口。例如以下配置表示将所有的日志都通过TCP转发至 127.0.0.1:9000，配置文件详细说明请参见 RSyslog Documentation。127.0.0.1:9000 ...
代理接入
（可选）步骤四：配置代理集群策略 云安全中心默认将代理服务器采集的数据回流至云安全中心服务端，并且不限制回流带宽和数据传输频率。如果需要修改数据传输方式，或限制回流带宽和数据传输频率，您可以参考以下步骤操作。在 客户端>代理...
安装Logtail（Linux系统）
Alibaba Cloud Linux 3.2 ARM版 Anolis OS 8.2 ARM版及以上版本 CentOS 8.4 ARM版 Ubuntu 20.04 ARM版 Debian 11.2 ARM版 安装Logtail 重要 请根据适用场景，选择不同网络类型对应的安装命令进行安装，网络类型指日志服务从服务器采集日志...
通过日志服务采集ACK Edge集群的容器日志
阿里云 容器服务 Edge 版 集成了日志服务，您可以在创建 ACK Edge集群 时启用日志服务，快速采集 ACK Edge集群 的容器日志，包括容器的标准输出以及容器内的文本文件。本文介绍如何使用日志服务采集边缘容器的日志信息。步骤一：启用日志...
通过日志服务采集Kubernetes容器日志
通过DaemonSet-控制台方式采集Kubernetes文件 通过DaemonSet-控制台方式采集Kubernetes标准输出 除了通过控制台配置采集以外，您还可以直接通过CRD配置来对Kubernetes集群进行日志采集，具体可参见 通过DaemonSet-CRD方式采集容器日志。...
（Linux）IDC采集字段明细
该文档描述了云迁移中心CMH的IDC信息采集工具采集您的服务器的核心信息。规格 工具将会采集目标服务器的/proc 文件系统中的规格信息，重点举例为如下字段：字段名 字段含义 CPU CPU型号和数量 Load 任务负载情况 Memory 内存大小和使用情况...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
配置用户标识
背景信息 如果您的服务器与日志服务属于不同账号的ECS实例、其他云厂商的服务器和自建IDC时，需要通过Logtail采集该服务器日志。首先，在服务器上安装Logtail，然后配置日志服务Project所属的阿里云账号ID为用户标识，授权该云账号通过...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
Elastic Agent采集NetFlow日志数据
说明 如果您需要采集多个服务器的NetFlow流量信息，可以多次执行以下步骤，在一个Fleet Server中添加多个代理，每个代理采集各自服务器中的NetFlow数据，NetFlow数据由Fleet Server统一管理。单击>Management>Fleet。单击 代理策略 页签。...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP...将企业内网服务器日志采集到日志服务，请参见 采集企业内网服务器日志。
数据统计
音视频时间戳 监控项 含义 场景 视频时间戳 服务器端采集的每秒最后一帧视频帧所携带的视频时间戳（单位：毫秒）。说明 采集的一秒周期内如果没有收到视频帧，则设置为-1。监控视频时间戳的单调性。音频时间戳 服务器端采集的每秒最后一帧...
客户端问题排查
说明 客户端问题排查的诊断程序将在该服务器中采集与客户端相关的网络、进程、日志等数据上报云安全中心进行分析。在 注意 对话框中，单击 确认，展开 任务管理 面板，查看所有的客户端问题排查任务。您也可以在 主机资产 页面，单击右上角...
Windows IDC调研字段明细
该文档描述了云迁移中心 CMH 中 Windows 系统的 IDC 调研工具采集您的服务器的核心信息。本工具主要获取 Windows 操作系统中 Windows Management Instrumentation（WMI，Windows管理工具）来获取 Windows 服务器硬件和系统的相关信息。规格...
Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
数据采集常见问题
如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中IP地址为空导致机器组心跳检测失败 如何采集企业内网服务器日志 如何排查容器日志采集...
Logtail常见问题
如何采集企业内网服务器日志 如何使用Logtail自动诊断工具 Windows场景 Windows实例安装Logtail服务日志提示异常信息 容器场景 如何采集K8s集群的容器日志 日志格式解析问题 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
- 产品推荐
- 这些文档可能帮助您