导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
快速入门
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index....
Binlog常见问题
答：Binlog写满500MB就会生成新的Binlog日志文件继续写入，同时会根据本地备份设置将备份日志上传到OSS，并清理本地日志。详情请参见 删除本地日志（Binlog）。推荐阅读 关于Binlog的更多介绍和相关操作，请参见 管理本地日志（Binlog）。
部署后的验证和管理
节点运维 本章介绍了在运维节点时的常用命令、数据上传的路径、日志说明、临时文件清理规则和如何开启国密。其中，国密为国家密码局认定的国产密码算法，以下简称“国密”。常用命令 以下是节点运维过程中的常用命令：启动或更新服务 ...
采集Python日志
(pathname)s 日志文件路径。(filename)s 日志文件名。(module)s 日志所在的模块名。(funcName)s 日志输出函数的名称。(lineno)d 日志输出函数的语句所在的代码行。(created)f 日志创建时间，UNIX时间戳格式。(relativeCreated)d 日志创建...
Binlog常见问题
答：Binlog写满500MB就会生成新的Binlog日志文件继续写入，同时会根据本地备份设置将备份日志上传到OSS，并清理本地日志。详情请参见 删除本地日志（Binlog）。推荐阅读 关于Binlog的更多介绍和相关操作，请参见 本地日志（Binlog）。
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
日志备份
A：日志备份页面只能看到已完成写入的日志文件，本地正在写入的日志文件还未上传至备份空间。Q：我的日志备份只设置了保留7天，是否有办法获取7天之前的日志？A：超出备份保留时长的备份会被自动删除，建议合理设置保留时长。关闭/减少备份...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
MySQL Binlog文件导致实例空间满的解决办法
本操作会删除除最新的两个本地日志文件外的所有日志文件，如果只有两个日志文件，本操作不会删除任何文件。基础系列实例不支持一键上传Binlog功能，建议您参见后续 修改本地日志（Binlog）文件设置 删除本地日志。修改本地日志（Binlog）...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
MySQL Binlog文件导致实例空间满的解决办法
本操作会删除除最新的两个本地日志文件外的所有日志文件，如果只有两个日志文件，本操作不会删除任何文件。基础系列实例不支持一键上传Binlog功能，建议您参见后续 修改本地日志（Binlog）文件设置 删除本地日志。修改本地日志（Binlog）...
文件存储
postmaster.pid 一个锁文件，记录postmaster进程ID、数据库目录路径、postmaster进程启动时间、端口号等信息。postgresql.conf 参数配置文件。pg_hba.conf 客户端认证控制文件。pg_ident.conf 本地用户名映射文件配置。
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
RDS MySQL日志备份
A：日志备份页面只能看到已完成写入的日志文件，本地正在写入的日志文件还未上传至备份空间。Q：我的日志备份只设置了保留7天，是否有办法获取7天之前的日志？A：超出备份保留时长的备份会被自动删除，建议合理设置保留时长。关闭/减少备份...
NFS文件系统传输加密
传输加密功能通过TLS协议保护您的ECS实例与NAS服务之间网络传输链路上的数据安全，确保您的数据在传输过程中不被窃取或纂改。本文介绍如何使用NAS客户端工具挂载文件系统实现数据传输加密。工作原理 NAS客户端工具定义了一个网络文件系统...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
管理日志存储空间
管理日志存储空间 为避免因日志存储空间占满，新的日志数据无法写入专属日志库而造成日志数据不完整的情况，建议您定期关注日志存储空间的使用情况。登录 云防火墙控制台。在左侧导航栏，选择 日志分析>日志分析。在 日志查询 页面右上方，...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
应用日志管理
特别是对于采用分布式部署的复杂PaaS类软件的服务，用户需要在多台主机上检索日志文件。操作繁琐，用户体验差。计算巢私有部署服务提供应用日志功能，通过集成日志服务（SLS）将私有部署服务的应用日志收集到日志服务的日志库（logstore）...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
SQL审计（数据库审计）
说明 如果您在日志服务的CloudLens for RDS开启了RDS SQL Server实例的审计日志采集功能，系统会自动开启对应RDS SQL Server实例的SQL审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。相关文档 ...
设置日志收集到SLS
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多，且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。推送规则配置 单击 显示高级设置 后...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
配置日志收集
指定收集日志文件名称，区分大小写，您可以使用通配符，例如*.log。Linux下的文件名通配符包括*、?和[.]。查看文件日志时，在日志服务控制台无数据展示，如何处理？通常日志服务默认查询最近15分钟内的查询结果，并且在配置SLS收集前产生的...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
CPFS-NFS客户端挂载文件系统（推荐）
默认为1048576字节，即单个日志文件最大为1 MiB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。cpfs_proxy_addr CPFS客户端proxy IP地址，默认为127.0.1.255。cpfs_proxy_port_min CPFS客户端proxy端口...
采集标准Docker容器日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。步骤一：部署Logtail容器 拉取Logtail镜像。docker pull registry.cn-hangzhou.aliyuncs.com/log-service/logtail 您需要根据实际...
Logtail发布历史
修复空文件inode复用后导致采集到的日志文件名错误的问题。修复因Checkpoint重新打开文件导致容器无法退出的问题。修复飞天日志时间无法调整时区的问题。修复JSON模式日志解析时，最后没有回车可能解析不正确的问题。修复读取到的数据开头...
使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具...配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义source，这里是监控一个日志文件 bootstrap_servers="etl-dev....
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
- 产品推荐
- 这些文档可能帮助您