通过Sidecar-CRD方式采集容器文本日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。背景信息 通过Sidecar模式采集日志，依赖于Logtail容器和业务容器共享的日志目录。业务容器将日志写入到共享目录中，Logtail通过...
Logtail采集日志失败的排查思路
重要 请务必确保Logtail配置中设置的日志路径与目标服务器上的日志文件匹配。默认情况下，一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。确认Logtail采集配置是否已应用...
日志管理
在 日志目录 页面，单击日志目录左侧的展开按钮>，然后在展开的日志文件列表的 操作 列，单击 在线查看。在 实时日志 页面的 ECS实例ID/名称/IP 右侧的下拉列表中选择实例，查看该实例中的日志详细信息。在页面右下角单击 开启实时追加，...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
OSS访问日志会被定期清除吗？
OSS访问日志的存储和清理机制如下：日志转存的OSS访问日志：如果您使用了日志转存，则您的OSS访问日志会被转存储在OSS的Bucket中，OSS不会定期清除您的日志文件。如果您需要定期清除日志文件，您可以配置生命周期规则进行自动删除。如何...
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
短语查询
概述 日志服务查询采用的是分词法，例如查询语句为 abc def，将匹配所有包含 abc 和 def 的日志，不区分先后顺序，无法精准匹配目标短语。现在日志服务推出短语查询，用于精准匹配一段短语。日志服务接收到短语查询请求后，执行流程主要...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
日志服务采集数据常见的错误类型
单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。OPEN_LOGFILE_FAIL_ALARM Logtail打开文件出错。单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。PARSE_...
事件操作函数
以下4个加工规则等价 e_if_else(e_search("f1=v1"),KEEP,DROP)e_if_else(e_search("not f1=v1"),DROP)e_keep(e_search("f1=v1"))e_drop(e_search("not f1=v1"))#以下加工规则无意义 e_if(e_search("."),KEEP)e_keep()支持和其他函数组合...
基本概念
如果是导入历史日志的情况，例如通过SDK导入过去30天的日志，那么 日志接收时间 就是当前时间，和 日志时间 不一致。日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以_tag_:作为前缀。包括：用户自定义标签：用户通过API ...
上下文查询
传统的上下文查询中，需要管理员等相关人员添加机器登录权限，然后运维人员依次登录应用所部署的每一台机器，以订单ID为关键词搜索应用程序日志文件，帮助判断下单失败原因。在日志服务中，可以按照以下步骤排查。在服务器上安装日志采集...
日志配置
日志文件默认路径 各语言的客户端日志文件的默认路径如下：说明 {$HOME} 为您启动当前应用程序的根目录。语言 默认路径 Java {$HOME}/logs/rocketmq/rocketmq-client.log C++ {$HOME}/logs/rocketmq/client.log C#{$HOME}/logs/rocketmq/...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
全量日志计费说明
您可以参考以下信息，根据网站的日常QPS评估需要的日志存储容量：每条请求日志大约占用2 KB存储空间，如果网站的平均请求量为500 QPS，则存储一天的日志需要的存储空间为500*60*60*24*2=86,400,000 KB（约82 GB）；存储180天的日志需要的...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
日志配置
默认配置 客户端启动后，会按照如下的默认配置生成日志文件：日志保存路径：/{user.home}/logs/sofamq.log，其中 {user.home} 是指启动当前 Java 进程的用户的根目录 保存历史日志文件的最大个数：10 个 日志级别：INFO 单个日志文件大小：...
数据模型
本文介绍采集到日志服务中的日志数据的数据模型。为方便您理解日志服务中日志数据的数据模型并顺利使用，从如下基本概念展开介绍。地域（Region）地域为阿里云的服务节点。通过在不同的阿里云地域部署服务，实现您的服务距离您的客户更近，...
管理日志存储空间
开通 Web应用防火墙（Web Application Firewall，简称WAF）日志服务后，系统将根据您所选择的日志存储规格分配日志存储空间，您可以在日志服务页面查看日志存储空间的使用情况。本文介绍如何管理日志存储空间。前提条件 已开通WAF日志服务...
开通投递服务
大文件接收地址 设置大文件的接收地址。如果您设置了该参数，当配置审计向日志服务投递的文件超过1 MB时，该文件自动转存到目标OSS Bucket中。重要 您需要设置大文件接收地址中的 地域、账号 和 存储空间，且需要保证大文件接收地址的 地域...
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该...
如何排查容器日志采集异常
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。只支持采集容器默认存储或挂载到本地的文件中的日志，暂不支持其他存储方式。采集到日志后，您需要先创建索引，才能在Logstore中...
成本优化指南
如果您的原始日志存储周期为60天，可以通过数据加工将只关心的20%的日志存储60天，其他日志存储7天即可，这样可以节约12%的成本，并对关心的日志增加1倍存储时间。优化存储内容 如果您持续采集某应用的日志，每天的写入量为100 GB，存储30...
通过Logtail跨阿里云账号采集容器日志
现公司业务调整，计划将两个应用的日志集中采集到阿里云账号A（12*456）下的日志服务中，即将两个应用的日志分别采集到同一个日志服务Project下的不同Logstore中。因此您需要新增一个Logtail采集配置、机器组和Logstore，用于采集和存储...
Logtail常见问题
如何实现文件中的日志被采集多份 使用CloudLens排查文件、目录数超限问题（STAT_LIMIT_ALARM、DIR_EXCEED_LIMIT_ALARM）使用CloudLens排查iLogtail文件重复配置问题（MULTI_CONFIG_MATCH_ALARM）使用CloudLens排查iLogtail采集配置错误问题...
什么是日志服务
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。基本概念 在使用日志服务前，您需要了解以下基本概念。术语 说明 项目（Project）项目是日志服务...
get_histograms
调用CLI命令查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。命令格式 aliyunlog log get_histograms-request=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-...
PolarDB云原生数据库
mysql_perf_innodb_log_write_requests 每秒日志写请求数 mysql_perf_innodb_os_log_fsyncs 每秒向日志文件完成的fsync()写数量 mysql_perf_innodb_rows_deleted 每秒删除的行数 mysql_perf_innodb_rows_inserted 每秒插入的行数 mysql_...
Nginx模式解析
配置说明 参数名称 说明 NGINX日志配置 Nginx配置文件中的日志配置部分，以 log_format 开头。例如：log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$request_time$request_length ' '$status$body_bytes_sent"$...
数据类型
日志样例 配置索引 查询和分析语句 查询请求时间大于60秒的日志。request_time>60 查询请求时间大于等于60秒，并且小于200秒的日志。request_time in[60 200)request_time>=60 and request_time查询请求状态码为200的日志。status=200 JSON...
监控时效性说明
写入包含同一分钟不同时间的日志时，由于日志服务的索引构建方式，可能会存在较晚的日志的索引写入较早日志的时间点。例如告警执行时间为12:03:30，查询范围为相对一分钟则为[12:02:30,12:03:30)，如果在12:02:50秒写入多条日志，这些日志...
get_logs
调用CLI命令查询指定Project下某个Logstore中的日志。该命令适用于精确查询场景。在使用该命令时，您需要构造JSON格式的request请求配置文件，在JSON文件中，您可以灵活、准确地配置查询请求。命令格式 aliyunlog log get_logs-request=[-...
自定义函数开发指南
函数计算服务上的日志服务触发器对应一个日志服务的ETL Job。taskId 对于一个ETL Job，taskId是某一次确定性的函数调用标识。cursorTime 本次函数调用包括的数据中，最后一条日志到达日志服务的服务器端的unix_timestamp。source 该字段由...
开启网关日志投递
使用场景 本文介绍投递 云原生网关日志 的步骤，对于其他场景：将MSE微服务治理中的 日志治理功能 的日志投递到日志服务，请参见 使用Logtail采集日志治理本地日志。将 MSE微服务治理 流量防护 的触发事件投递到日志服务，请参见 MSEAHAS...
管理日志存储空间
开通 Web应用防火墙WAF（Web Application Firewall）日志服务后，系统将根据您所选择的日志存储规格分配日志存储空间，您可以在日志服务页面查看日志存储空间的使用情况。本文介绍如何管理日志存储空间。前提条件 已开通WAF日志服务。具体...
GetContextLogs
logs Array of Object {"_index_number_":"-100","_tag_:_pack_id_":"895CEA449A52FE-8c8","_pack_meta_":"0|MTU1OTI4NTExMjg3NTQ2NDU1OA=|4|1"} 获取到的日志，按上下文顺序排列。当根据指定起始日志查询不到上下文日志时，此参数为空。...
数据加工快速入门
背景信息 某网站将其所有的访问日志存储在一个Logstore中，现希望为访问成功的日志和访问失败的日志设置不同的日志主题，并分发到不同的Logstore中，便于分析。日志样例如下：body_bytes_sent:1061 http_user_agent:Mozilla/5.0 (Windows;U...
上传和下载文件
Cloud Shell 提供了文件的上传和下载功能。您可以使用 Cloud Shell 轻松地上传和下载文件。为此，可以使用以下两种方法中的任何一种来传输文件：从 Cloud Shell Tab 栏中，选择 下载或者 上传，将文件上传至 Cloud Shell 和从 Cloud Shell ...
- 产品推荐
- 这些文档可能帮助您