Logtail采集详情
读取日志文件时，每次最多可以读取512 KB，因此每条日志的大小请控制在512 KB以内，否则无法正常读取。说明 如果您修改了服务器上的时间，请手动重启Logtail，否则会导致日志时间不正确、意外丢弃日志等现象。处理日志 Logtail读取日志后，...
下载或删除网站日志
网站日志文件存放在站点的 wwwlogs 文件夹下，您可以通过FTP客户端将日志文件下载到您本地进行查看。具体操作，请参见 使用FileZilla管理文件。说明 关于网站日志的更多信息，请参见 网站日志介绍。网站日志介绍 访问日志 用于对网站访问者...
背景信息以及准备工作
DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障原因等。对于一个服务而言，日志文件记录了服务运行的所有详细信息。在进行故障排除、状态监控或者预测告警时，都需要对日志文件进行查询分析。阿里云对象存储服务...
EMR HBase日志说明
日志文件保留策略 由于*.gc和*.out日志文件日志量较少，这里的日志文件保留策略主要是针对*.log日志文件。默认保留策略：保留20个，每个文件最大256 MB。说明 您可以根据实际需求修改/etc/taihao-apps/hbase-conf/log4j.properties 配置...
应用监控指标
服务总览 指标名称 说明 单位 数据源 ERROR 应用错误 次 应用日志（自定义日志文件）配置于 Error 应用错误。PV 页面访问量 次 应用日志（自定义日志文件）配置于 PV 页面访问量。Service 应用服务被调用 次 应用日志（自定义日志文件）...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
日志消费与查询区别
日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
日志转存
日志文件命名规则 转存后的日志文件命名规则如下：<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString 字段 说明 TargetPrefix 日志文件的文件名前缀。SourceBucket 产生访问日志的源Bucket名称。YYYY-mm-DD-HH-MM-SS 日志文件...
Logtail采集日志失败的排查思路
操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件。如果下发Logtail配置后，日志文件有更新，请执行下一步。确认机器组心跳是否...
日志组（LogGroup）
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
什么是Logtail
基本功能 功能 说明 实时采集日志 动态监控日志文件，实时读取、解析增量日志。日志从生成到发送到日志服务的延迟一般在3秒内。更多信息，请参见 Logtail采集详情。说明 Logtail不支持采集历史日志，对于一条日志，读取该日志的时间减去...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
LiveTail
在传统的运维方式中，如果需要对日志文件进行实时监控，需要在服务器上对日志文件执行 tail-f 命令，如果实时监控的日志信息不够直观，还需加上 grep 命令或者 grep-v 命令进行关键词过滤。日志服务在控制台提供了日志实时监控的交互功能...
Logtail
重要 采集多份时，文件读取的IO、计算资源和网络IO都会线性增加。文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据完整性。出现以下情况，会关闭文件。文件超过5分钟未被修改。发生轮转且采集...
Logtail限制说明
重要 采集多份时，文件读取的IO、计算资源和网络IO都会线性增加。文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据完整性。出现以下情况，会关闭文件。文件超过5分钟未被修改。发生轮转且采集...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
日志主题
如果不同的用户或者实例将日志保存在不同目录中，但是下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或实例产生的。提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则...
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
性能监控FAQ
您可以登录 NAS控制台，在 性能监控 页签中的 文件系统类型 选项框中选择 CPFS，查看读写吞吐、读写IOPS、读写时延、元数据QPS等指标。具体操作，请参见 查看CPFS性能监控。怎么对CPFS文件系统进行性能调优？性能参数 参数 说明 ...
消费-搭建监控系统
统一的配置管理：需要收集哪些日志文件，只要在服务端配置一次，配置会自动下发到所有机器。结构化的数据：所有数据格式化成日志服务的数据模型，方便下游消费。弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何...
分区
Logstore读写日志必定保存在某一个分区（Shard）上。每个日志库（Logstore）分若干个分区，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。Shard是每个Logstore下读写基本单元，每个...
采集Python日志
(pathname)s 日志文件路径。(filename)s 日志文件名。(module)s 日志所在的模块名。(funcName)s 日志输出函数的名称。(lineno)d 日志输出函数的语句所在的代码行。(created)f 日志创建时间，UNIX时间戳格式。(relativeCreated)d 日志创建...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
通过Sidecar-CRD方式采集容器文本日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。背景信息 通过Sidecar模式采集日志，依赖于Logtail容器和业务容器共享的日志目录。业务容器将日志写入到共享目录中，Logtail通过...
设置日志收集至SLS
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
分析网站日志
本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 网站日志是网站运维的重要信息，包含PV、...
NFS文件系统传输加密
默认为1048576字节，即单个日志文件最大为1 MB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。stunnel_debug_enabled Stunnel监听进程debug日志。默认为false，开启时会占用大量存储容量。stunnel_check...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
设置日志收集到SLS
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多，且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。推送规则配置 单击 显示高级设置 后...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
- 产品推荐
- 这些文档可能帮助您