数据编码方式
Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { required uint32 Time=1;UNIX Time Format message Content {...
错误编码：HSF-0031
在服务端的/home/admin/logs/hsf/hsf.log 日志文件中，查找业务执行超时的日志，定位具体的类及方法：服务端出现序列化错误，请检查业务代码、流类型、File、超大的对象等都会导致序列化错误，请不要传递这些数据。代码性能较低，请进行...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
Logtail基本问题
例如app.LOG文件通过日志文件轮转生成app.LOG.1、app.LOG.2等，Logtail会自动检测到日志文件轮转过程，并保证这个过程中不会丢失日志。Logtail如何处理网络异常？网络异常、写入Quota满时，Logtail会停止读取正在采集的日志，保持文件打开...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
Logtail采集日志失败的排查思路
操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件。如果下发Logtail配置后，日志文件有更新，请执行下一步。确认机器组心跳是否...
其他日志
本视频向您展示数据加工其他结构化日志的解析。
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
LiveTail
在传统的运维方式中，如果需要对日志文件进行实时监控，需要在服务器上对日志文件执行 tail-f 命令，如果实时监控的日志信息不够直观，还需加上 grep 命令或者 grep-v 命令进行关键词过滤。日志服务在控制台提供了日志实时监控的交互功能...
Logtail限制说明
文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 ...
Logtail
文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 ...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
日志主题
如果不同的用户或者实例将日志保存在不同目录中，但是下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或实例产生的。提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则...
NFS文件系统传输加密
默认为1048576字节，即单个日志文件最大为1 MB。logging_file_count 日志文件的最大保留数量。默认为10，即最多保留10个日志文件。stunnel_debug_enabled Stunnel监听进程debug日志。默认为false，开启时会占用大量存储容量。stunnel_check...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
版本说明
hitsdb-client-0.2.5.jar 0.2.4 修复了一个JSON序列化问题。hitsdb-client-0.2.4.jar 0.2.3 修复MultiFieldSubQuery无法设置filters问题，支持preDpValue前值过滤算子。hitsdb-client-0.2.3.jar 0.2.2 支持提交SQL查询。hitsdb-client-0.2....
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
混合云崩溃日志查看指导
问题描述 混合云崩溃日志查看指导。解决方案 在【基础配置】>【文件...IOS：系统文件：用于ios crash日志符号化的ios系统文件，可通过Xcode生成。应用dsym文件：用于ios crash日志符号化的ios app文件，app编译时生成。适用于 混合云移动监控
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
畅捷通
灵活的数据处理和存储 针对内部已经具备完善CMDB和关联规则的情况，畅捷通将原始日志进行语义切分和序列化后，对应到场景分析中。畅捷通在策略组中找到相应的执行策略，再发到外部服务中，用外部服务去调用Ansible或者消息转发等操作，实现...
PolarDB云原生数据库
mysql_perf_innodb_log_write_requests 每秒日志写请求数 mysql_perf_innodb_os_log_fsyncs 每秒向日志文件完成的fsync()写数量 mysql_perf_innodb_rows_deleted 每秒删除的行数 mysql_perf_innodb_rows_inserted 每秒插入的行数 mysql_...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
ActionTrail中记录的 文件存储 HDFS 版（Apsara File Storage for HDFS）操作日志 文件存储 HDFS 版（Apsara File Storage for HDFS）的操作审计日志主要包含的是API事件，其中OpenAPI事件在ActionTrail中记录的eventType取值为 ApiCall。...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
采集标准Docker容器日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。步骤一：部署Logtail容器 拉取Logtail镜像。docker pull registry.cn-hangzhou.aliyuncs.com/log-service/logtail 您需要根据实际...
日志说明
rpc/rpc-remoting-serialization.log 网络层序列化日志，无标准格式。tracelog/rpc-client-digest.log SOFARPC 调用客户端摘要日志。tracelog/rpc-server-digest.log SOFARPC 调用服务端摘要日志。tracelog/rpc-profile.log SOFARPC 处理...
SOFATracer 日志说明
SOFA 服务调用方 日志文件名：rpc-client-digest.log。日志示例如下：2021-02-05 13:46:44.264,/日志打印时间 sofa-echo-server,/当前应用名 1e49a2be16125040042601246*2,/TraceId 0,/RpcId ...
Logtail发布历史
修复空文件inode复用后导致采集到的日志文件名错误的问题。修复因Checkpoint重新打开文件导致容器无法退出的问题。修复飞天日志时间无法调整时区的问题。修复JSON模式日志解析时，最后没有回车可能解析不正确的问题。修复读取到的数据开头...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
如何实现文件中的日志被采集多份
本文介绍如何实现文件日志被采集多份。背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持...
- 产品推荐
- 这些文档可能帮助您