Logtail采集详情
将Logtail采集配置应用到机器组后，对应服务器上没有发生修改事件的日志文件会被判定为历史日志文件，Logtail监听到历史日志文件，并不会采集。当日志文件产生了修改事件，才会触发采集流程，Logtail开始读取文件。如果您要采集历史日志...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
设置应用日志关联
分布式链路跟踪的 Tracer 集成了 SLF4J MDC 功能，所以您只需简单修改日志配置文件中的日志输出 Pattern，即可实现日志输出 Tracer 上下文 TraceId 以及 SpanId。确保 SOFABoot 应用引入了 Tracer 依赖。groupId>...
Tracer 日志配置项
SOFATracer 的日志输出目录，可以在 application.properties 中配置 logging.path 的路径，那么其日志输出路径为${logging.path}/tracelog；如果没有配置 logging.path，那么 SOFATracer 的默认输出路径为${user.home}/logs/tracelog。...
ModifyFlowLogAttribute-编辑流日志实例
192.168.0.2 NetflowServerPort integer 是 流日志输出的服务器端口，默认值为 9995，输出类型为 netflow 时填入。9995 NetflowVersion string 是 流日志输出时使用的 netflow 协议版本号，可选 V5、V9 和 V10，默认值 V9，输出类型为 ...
安装Logtail（ECS实例）
在进行日志采集前，需要在服务器上安装Logtail。如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时，您需要手动安装Logtail。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）。登录 ...
Logtail机器组
机器组 日志服务通过一个Logtail采集配置来采集多台服务器上的日志，您可以将这些服务器加入到同一个机器组，并将Logtail采集配置应用到该机器组。您可以通过如下两种方法定义一个机器组。IP地址：在机器组中添加服务器的IP地址，通过IP...
日志主题
如果您不同服务器上的日志的保存路径或文件名相同，您可以通过日志主题进行区分。您可以将服务器添加到不同的机器组中，并为机器组设置不同的Topic属性，然后在创建Logtail配置时，将 Topic生成方式 设置为 机器组Topic属性。Logtail上报...
Logtail采集日志失败的排查思路
重要 请务必确保Logtail配置中设置的日志路径与目标服务器上的日志文件匹配。默认情况下，一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。确认Logtail采集配置是否已应用...
沙盒网络
在数据集中采集方面，日志服务提供50+数据接入手段，其中Logtail采集方式可用于统一采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。在沙盒网络多云的部署场景下，可以通过Logtail作为统一的采集方式，并以日志服务作为统一的数据...
快速入门
文件路径 根据日志在服务器上的位置，设置日志目录和文件名称。本案例的日志路径为/var/log/nginx/access.log。日志样例 根据实际场景输入一条日志样例。本案例的日志样例如下所示：127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index....
如何使用Windows事件查看器查看实例运行日志
应用程序 应用程序日志记录服务器上安装的一些应用程序或系统默认程序的事件。例如实例上运行的站点服务，MySQL，PHP，IIS等相关的应用程序的事件记录。更多事件信息可单击事件日志联机帮助。查看应用程序和服务日志 在事件查看器中，应用...
查询分析程序日志
分布的服务器多：大部分应用为无状态模式，运行在不同框架中，例如云服务器、容器服务等，对应的实例数从几个到数千个，需要有一种跨服务器的日志采集方案。运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如...
采集-IoT/嵌入式日志
日志服务客户端Logtail在X86服务器上有百万级部署，可以参见文章：Logtail技术分享：多租户隔离技术+双十一实战效果，Polling+Inotify 组合下的日志保序采集方案。除此之外，日志服务提供多样化的采集方案：移动端SDK：Android/iOS平台数据...
CreateFlowLog-创建一个流日志
15 OutputType string 是 流日志输出类型，取值：sls：流日志存储在阿里云日志服务中。netflow：流日志存储在您配置的 Netflow 服务器上。all：流日志同时存储在阿里云日志服务和您配置的 Netflow 服务器上。all SlsRegionId string 否 ...
解析Java报错日志
通过 异常详情 图表，可以查到具体哪一条日志没有解析出来，然后再调整正则表达式。如果解析Log失败，上报WARNING级别日志。该类报错不会影响到整个加工任务继续执行。如果上报ERROR级别日志，则会影响到整个加工任务的继续执行。需要逐步...
客户端问题排查
如果您的服务器资产未接入云安全中心，您可以手动执行 aegis_checker 命令，对目标服务器上客户端的问题进行排查。具体操作，请参见 服务器资产未接入云安全中心。服务器资产已接入云安全中心 登录云安全中心控制台。在控制台左上角，选择...
DBGateway常见问题
当前状态 显示 正常 时，表示DBGateway进程正在运行，否则请在部署DBGateway的服务器上执行以下命令：/opt/dbgateway/bin/dbgateway-manager-d status 当DBGateway进程正在运行时，返回：DBGateway is running.DBGateway进程不存在时，返回...
采集Systemd Journal日志
前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装Logtail（Linux系统）。简介 Systemd是专用于Linux操作系统的系统与服务管理器。当作为启动进程（PID=1）运行时，它将作为初始化系统运行，启动并维护...
采集Beats和Logstash数据源
前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）。已通过Logstash或Beats系列软件采集到数据。如果要通过...
日志说明
默认的日志输出等级为 LOG_LEVEL_DEBUG，用户如需修改日志等级，请参考接口：默认的日志输出等级为LOG_LEVEL_DEBUG，用户如需修改日志等级，请参考接口aiot_state_set_log_level/*@brief 设置SDK的日志信息输出等级*@param level 日志等级*...
接入JVM监控数据（新版）
已在服务器上安装Java 1.7或以上版本。基本原理 Java Management Extensions（JMX）技术是Java SE平台的标准功能，提供了一种简单、标准的监控和管理资源的方式，主要用于监控和管理Java应用的运行状态、资源信息、JVM虚拟机运行情况等信息...
采集脚本执行日志
前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，执行配置的脚本内容，从而获取脚本执行日志。支持设置bash、shell、python2...
Logtail配置
重要 本配置属于全局参数，即您在一个Logtail采集配置中开启此功能后，在Logtail重启前，服务器上所有的Logtail采集配置都允许采集根目录。仅支持Windows Logtail 1.0.0.22及以上版本。exactly_once_concurrency int 否 1 是否启用...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
搭建FTP站点（CentOS 7）
vsftpd（very secure FTP daemon）是Linux下的一款小巧轻快、安全易用的FTP服务器软件。本教程介绍如何在CentOS 7.x系统的ECS实例上安装并配置vsftpd。背景信息 FTP（File Transfer Protocol）是一种文件传输协议，基于客户端/服务器架构，...
通过Logtail跨阿里云账号采集日志
touch/etc/ilogtail/users/12*456 步骤二：创建用户自定义标识机器组 在ECS服务器上创建机器组的自定义用户标识文件。重要 您需要在ECS集群B的每台ECS服务器中创建机器组的用户自定义标识文件。登录阿里云账号B下的ECS服务器。在指定目录下...
配置用户标识
背景信息 如果您的服务器与日志服务属于不同账号的ECS实例、其他云厂商的服务器和自建IDC时，需要通过Logtail采集该服务器日志。首先，在服务器上安装Logtail，然后配置日志服务Project所属的阿里云账号ID为用户标识，授权该云账号通过...
Logtail发布历史
本文介绍日志服务Logtail的发布历史。1.8.7 发布时间：2024.03.05 新功能 Logtail-ds组件在ACK场景下支持资源组配置。拓展插件新增 processor_rate_limit 插件。修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布...
各源环境迁移至阿里云
轻量应用服务器 如果您已购买轻量应用服务器，可以将源服务器迁移至轻量应用服务器，源服务器和已购买的轻量应用服务器的存储、操作系统等需要适配。迁移至轻量应用服务器最佳实践，请参见 源服务器迁移至轻量应用服务器。配置项说明如下：...
DescribeFlowLogs-DescribeFlowLogs
Active OutputType string 否 流日志输出类型，取值：sls：流日志存储在阿里云日志服务中。netflow：流日志存储在您配置的 NetFlow 服务器上。all：流日志同时存储在阿里云日志服务和您配置的 NetFlow 服务器上。all PageSize integer 否 ...
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
创建流日志
您可以选择将捕获的流量信息存储在阿里云日志服务的Logstore中或您的Netflow服务器上，也可以选择同时存储在二者上。详细配置请参见下表。配置 说明 资源组 选择创建流日志的资源组。名称 输入自定义流日志名称。活跃流输出间隔 保持活跃的...
如何将一条日志输出到不同目标？
drop_fields("f3","f4",regex=False)e_output("target2")输出日志 输出到目标target1_time_:1591754815 f3:aliyun f4:200 f5:standard 输出到目标target2_time_:1591754815 f1:GET f2:https f5: standard 错误示例：如果您使用如下加工语法...
上下文查询
在服务器上安装日志采集客户端Logtail，并在日志服务控制台上添加机器组、Logtail采集配置，然后Logtail开始上传增量日志。在日志服务控制台日志查询页面，指定时间段根据订单ID找到订单失败日志。以查到的日志为基准，向上翻页直到发现与...
机器组简介
背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些服务器可以组成一个单独的 机器组，也可以组成多个独立的 机器组。通过将 Logtail采集配置 应用到指定的 机器组，日志服务会将该采集配置下发至机器组内的...
数据模型
例如：您有一个名为big-game的游戏应用，服务器上有三种日志：操作日志（operation_log）、应用程序日志（application_log）以及访问日志（access_log），您可以首先创建名为big-game的项目，然后在该项目下面为这三种日志创建三个日志库，...
云上日志集中审计最佳实践
本视频介绍云上日志集中审计最佳实践。
服务器中毒导致监控数据不一致
问题描述 在服务器上执行top命令查看CPU使用率，与主机监控中的CPU使用率相差较大。问题原因 由于服务器中毒，top命令被替换，导致查看的数据被修改。解决方案 正常服务器上执行top命令，系统显示如下。建议通过安骑士查看，如有异常会检测...
采集企业内网服务器日志
本文以Nginx为例，介绍配置正向代理服务器以及通过代理模式将企业内网服务器日志采集到日志服务的解决方案。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已在服务器上安装Linux Logtail 1.5.0及...
- 产品推荐
- 这些文档可能帮助您