EMR HBase日志说明
日志文件分类 EMR HBase进程日志文件分类：*.gc日志文件：记录进程GC日志，可以用于GC导致的问题分析。log日志文件：记录进程log4j打印的日志。out日志文件：记录标准输出日志，包括进程启动、停止时的标准输出日志以及某些异常导致进程...
iOS SDK和Android SDK如何开启日志记录功能
Android SDK开启LOG的方法/日志的样式/通过调用OSSLog.enableLog()开启可以在控制台看到日志，/并且会支持写入手机sd卡中的一份日志文件位置在内置sd卡路径\OSSLog\logs.csv，默认为不开启。日志会记录OSS操作行为中的请求数据返回数据和...
日志开启
日志格式：<time><name><level><threadId>日志级别：CRITICAL>ERROR>WARNING>INFO>DEBUG>NOTSET 说明 指定日志级别后，本地日志文件只会记录指定级别及高于指定级别的信息。例如指定日志级别为INFO，则日志文件会记录CRITICAL、ERROR、...
应用监控指标
服务总览 指标名称 说明 单位 数据源 ERROR 应用错误 次 应用日志（自定义日志文件）配置于 Error 应用错误。PV 页面访问量 次 应用日志（自定义日志文件）配置于 PV 页面访问量。Service 应用服务被调用 次 应用日志（自定义日志文件）...
Logtail基本问题
例如app.LOG文件通过日志文件轮转生成app.LOG.1、app.LOG.2等，Logtail会自动检测到日志文件轮转过程，并保证这个过程中不会丢失日志。Logtail如何处理网络异常？网络异常、写入Quota满时，Logtail会停止读取正在采集的日志，保持文件打开...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
LiveTail
在传统的运维方式中，如果需要对日志文件进行实时监控，需要在服务器上对日志文件执行 tail-f 命令，如果实时监控的日志信息不够直观，还需加上 grep 命令或者 grep-v 命令进行关键词过滤。日志服务在控制台提供了日志实时监控的交互功能...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
日志转存
某个时段的日志文件可能不会记录该时段的所有请求，部分请求可能会出现在上一时段或下一时段的日志文件中。因此，某个时段的日志文件不能确保该时段日志记录的完整性和即时性。在您关闭日志转存功能前，OSS的日志文件会每隔1小时生成一次。...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
日志字段详情
time 记录日志的时间。upstream_connect_time 连接时间。upstream_first_byte_time 首包时间。http_host 请求报文host header的内容。监控的网络传输协议为HTTP和HTTPS时，支持该字段。http_referer 全球加速收到的请求报文中HTTP的referer...
配置审计
配置变更记录 日志字段 说明 accountId 资源归属的阿里云账号ID。arn RAM角色标识。availabilityZone 资源可用区。captureTime 记录资源合规评估的时间戳。单位：毫秒。configuration 资源关联的规则列表和规则合规详情。configurationDiff...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
消费-搭建监控系统
统一的配置管理：需要收集哪些日志文件，只要在服务端配置一次，配置会自动下发到所有机器。结构化的数据：所有数据格式化成日志服务的数据模型，方便下游消费。弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何...
NFS文件系统传输加密
默认为1048576字节，即单个日志文件最大为1 MB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。stunnel_debug_enabled Stunnel监听进程debug日志。默认为false，开启时会占用大量存储容量。stunnel_check...
设置日志收集至SLS
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
快速入门
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index....
开启日志采集功能
成本管家 记录日志服务计费资源数据，每日自动全量更新。有关成本管家的更多信息，请参见 功能入口。创建采集规则 在 SLS采集规则列表>规则列表 页签创建采集规则，配置 规则名、日志类型、资源匹配模式 等参数。日志类型 运行日志（免费）...
设置日志收集到SLS
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多，且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。推送规则配置 单击 显示高级设置 后...
日志字段详情
配置变更记录 日志字段 说明 accountId 资源归属的阿里云账号ID。arn RAM角色标识。availabilityZone 资源可用区。captureTime 记录资源合规评估的时间戳。单位：毫秒。configuration 资源关联的规则列表和规则合规详情。configurationDiff...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
时间字段转换示例
日志中原有的时间字段：日志在生成时，用于记录日志事件发生时间的字段，是原始日志的字段。时间字段的格式可能不统一、或不便于查看和阅读，可以在查询分析中将其转换为指定格式。例如：把_time_转化成时间戳 把_time_以固定格式打印 把...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
设置日志收集至Kafka
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。Kafka Topic名称 选择已创建的Kafka ...
CPFS-NFS客户端挂载文件系统（推荐）
默认为1048576字节，即单个日志文件最大为1 MiB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。cpfs_proxy_addr CPFS客户端proxy IP地址，默认为127.0.1.255。cpfs_proxy_port_min CPFS客户端proxy端口...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
使用访问日志
time 记录日志的时间。upstream_connect_time 连接时间。upstream_first_byte_time 首包时间。对于HTTP和HTTPS监听协议，额外支持以下字段。字段 说明 http_host 请求报文host header的内容。http_referer 全球加速收到的请求报文中HTTP的...
数据模型
content 用以记录日志的具体内容。内容部分由一个或多个内容项组成，每一个内容项由Key-Value对组成。Key为UTF-8编码字符串，包含字母、下划线和数字，且不以数字开头，其长度不超过128字节，且不可以使用如下关键字：_time_source_topic_...
应用日志管理
特别是对于采用分布式部署的复杂PaaS类软件的服务，用户需要在多台主机上检索日志文件。操作繁琐，用户体验差。计算巢私有部署服务提供应用日志功能，通过集成日志服务（SLS）将私有部署服务的应用日志收集到日志服务的日志库（logstore）...
OSS操作合规
OSS新创建的Bucket访问日志记录未开启告警 告警ID sls_app_audit_cis_at_oss_log_off 告警名称 OSS新创建的Bucket访问日志记录未开启告警 版本号 1 类别 云平台、阿里云、CIS、OSS操作合规 作用 监控新创建的OSS Bucket的访问日志记录未...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
PolarDB云原生数据库
mysql_perf_innodb_log_write_requests 每秒日志写请求数 mysql_perf_innodb_os_log_fsyncs 每秒向日志文件完成的fsync()写数量 mysql_perf_innodb_rows_deleted 每秒删除的行数 mysql_perf_innodb_rows_inserted 每秒插入的行数 mysql_...
如何解决查询分析与流处理两种场景下的数据口径差异
如果数据没有记录日志时间，则可以考虑使用到达时间，因为他在进入日志服务之后就不会发生变化。如图所示，如果日志在数据管道中没有延迟，那么就可以将到达时间作为日志发生的近似时间。当一条日志数据到达日志服务时，日志服务将日志时间...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
- 产品推荐
- 这些文档可能帮助您