快速入门
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index....
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
通过DaemonSet方式采集Kubernetes容器文本日志
对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。文件路径 如果目标容器节点是Linux系统，则日志路径必须以正斜线（/）开头，例如/apsara/nuwa/*/app....
采集Python日志
(pathname)s 日志文件路径。(filename)s 日志文件名。(module)s 日志所在的模块名。(funcName)s 日志输出函数的名称。(lineno)d 日志输出函数的语句所在的代码行。(created)f 日志创建时间，UNIX时间戳格式。(relativeCreated)d 日志创建...
文件存储
postmaster.pid 一个锁文件，记录postmaster进程ID、数据库目录路径、postmaster进程启动时间、端口号等信息。postgresql.conf 参数配置文件。pg_hba.conf 客户端认证控制文件。pg_ident.conf 本地用户名映射文件配置。
Logtail配置
preserve boolean 否 true 如果一个日志文件在指定时间内没有任何更新，则认为该文件已超时。可选值如下：true（默认）：永不超时。false：如果日志文件在30分钟内没有更新，则认为已超时，并不再监控该文件。preserveDepth integer 否 1 ...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
NFS文件系统传输加密
传输加密功能通过TLS协议保护您的ECS实例与NAS服务之间网络传输链路上的数据安全，确保您的数据在传输过程中不被窃取或纂改。本文介绍如何使用NAS客户端工具挂载文件系统实现数据传输加密。工作原理 NAS客户端工具定义了一个网络文件系统...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
RDS MySQL日志备份
命令仍能查到日志文件？A：通过该命令查询到的是本地日志，不是日志备份。如需删除本地日志，请参见 删除本地日志（Binlog）。Q：关闭日志备份后，为什么存储空间没有释放？A：日志备份不占用存储空间。本地日志占用存储空间。Q：为什么...
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
库表恢复：按时间点恢复
在知晓误操作发生的时间点后，可以通过此方式，将误操作的数据库或者表恢复到误操作发生之前。前提条件 已存在备份集。因为按时间点恢复是先将所选时间点前的一个全量数据备份恢复到集群，然后根据Redo日志恢复增量数据到所选时间点。若您...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
如何排查容器日志采集异常
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。只支持采集容器默认存储或挂载到本地的文件中的日志，暂不支持其他存储方式。采集到日志后，您需要先创建索引，才能在Logstore中...
RDS SQL Server如何收缩事务日志
执行如下将数据库的恢复模式设置为SIMPLE模式的命令：ALTER DATABASE[TestDb]/[TestDb]为数据库名称。SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：...
CPFS-NFS客户端挂载文件系统（推荐）
默认为1048576字节，即单个日志文件最大为1 MiB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。cpfs_proxy_addr CPFS客户端proxy IP地址，默认为127.0.1.255。cpfs_proxy_port_min CPFS客户端proxy端口...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
应用总览
自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务 ID。Flow Limit-flowlimit 流量监控指标。消息发布-msgpub 消息发布监控指标。消息订阅-msgsub 消息订阅监控指标。JVM 监控-jvmgc JVM 监控指标。...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
服务指标
自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务 ID。flowlimit 限流 次 框架配置日志。文件采集路径/home/admin/logs/{app}/guardian/guardian-limit-stat.log。msgpub 消息推送 次 框架配置日志...
Jindo sql命令介绍
使用Jindo sql分析JindoFS访问日志 JindoFS为存储在OSS上的JindoFS访问日志文件提供SQL的分析功能，通过SQL分析相关表，提供Top-N活跃操作命令分析和Top-N活跃IP分析。您可以通过 jindo sql 命令，使用该功能。说明 已开启AuditLog功能，...
Jindo sql命令介绍
使用Jindo sql分析JindoFS访问日志 JindoFS为存储在OSS上的JindoFS访问日志文件提供SQL的分析功能，通过SQL分析相关表，提供Top-N活跃操作命令分析和Top-N活跃IP分析。您可以通过 jindo sql 命令，使用该功能。说明 已开启AuditLog功能，...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
管理日志投递任务
存储目标 包括源Project、源Logstore和目标数据库信息。消费进度 数据投递任务读取源Logstore日志数据的消费进度。统计报表 创建投递任务后，自动生成数据投递仪表盘，包括总览指标、每秒投递行数指标、消费延迟指标、消费速率指标、读写...
RDS SQL Server空间不足问题
select*from sys.dm_db_log_space_usage 查看当前数据库的日志文件的总空间大小以及实际已使用日志空间大小。说明 仅适用于SQL Server 2012及以上版本。select*from sys.dm_db_file_space_usage 查看当前数据库的数据文件的总空间大小以及...
告警属性参考
日志库 区域 否 对日志库和时序库进行查询统计时，取值为目标Project所在地域。说明 对资源数据进行查询统计时，无该参数。cn-hangzhou 项目 否 对日志库和时序库进行查询统计时，取值为源数据所在Project。说明 对资源数据进行查询统计时...
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
日志字段详情
本文介绍RDS相关日志的字段详情。审计日志 字段名称 说明_topic_日志主题，固定为rds_audit_log。instance_id RDS实例ID。check_rows 扫描的行数。db 数据库名。...db_version 数据库版本 content 日志内容 eventType 事件类型
开启日志采集功能
CloudLens for Redis支持一键开启日志采集功能，用于采集云数据库Redis的慢日志、运行日志和审计日志。本文介绍开启日志采集功能的操作步骤及相关操作。前提条件 实例需满足下述条件：版本 为Redis社区版、Tair（Redis企业版）内存型、Tair...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
数据脱敏
数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP...
使用资源函数增量获取数据
资源信息与数据示例 日志服务资源 Project：client-project 源Logstore：client-log 数据样例如下所示：目标Logstore：client-information RDS资源 数据库：client-db 数据库表：client 数据样例如下所示：数据库用户名和密码：test/test...
- 产品推荐
- 这些文档可能帮助您