查看文件日志
EDAS对接了日志服务SLS。如果在EDAS的容器服务Kubernetes集群创建或部署应用时开启了日志...在 文件日志（SLS采集）页签下的文件日志列表中的 操作 列，单击 查看文件日志。在日志服务控制台查询及分析日志。具体操作，请参见 查询与分析。
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
通知内容常见问题
未知具体的字段 {%-for result in alert.fire_results%} {%-for key,val in result.items()%}-{{ key }}:{{ val }} {%-endfor%} {%-endfor%} 触发告警的日志太多，在告警通知中展示不完全时，如何处理？由于告警消息体存在长度限制，当触发...
采集标准Docker容器日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。步骤一：部署Logtail容器 拉取Logtail镜像。docker pull registry.cn-hangzhou.aliyuncs.com/log-service/logtail 您需要根据实际...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具...配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义source，这里是监控一个日志文件 bootstrap_servers="etl-dev....
创建索引
全文索引和字段索引配置参数 全文索引 参数 说明 日志聚类 打开 日志聚类 开关后，日志服务在采集文本日志时会自动聚合相似度高的日志，提取共同的日志模式，帮助您快速掌握日志整体情况。更多信息，请参见 日志聚类。大小写敏感 查询时...
成本优化指南
如果您的原始日志存储周期为60天，可以通过数据加工将只关心的20%的日志存储60天，其他日志存储7天即可，这样可以节约12%的成本，并对关心的日志增加1倍存储时间。优化存储内容 如果您持续采集某应用的日志，每天的写入量为100 GB，存储30...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
使用前须知
结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供各类指标自动巡检功能，有助于更快、更准确地发现并定位...
什么是Logtail
自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行轮转（rotation），把原日志文件重命名，并新建一个空日志文件等待写入。例如：app.LOG 文件，通过日志轮转会生成 app.LOG.1、app.LOG.2 等。您可以指定采集日志写入的文件...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
如何实现文件中的日志被采集多份
本文介绍如何实现文件日志被采集多份。背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。...
使用前须知
日志服务联合阿里云负载均衡推出CloudLens for ALB，提供ALB 7层日志分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过CloudLens for ALB了解客户端用户行为、客户端用户的地域分布、请求成功率、...
日志审计服务概述
Logstore cloudfirewall_log 仪表盘 云防火墙审计中心 堡垒机 操作命令日志 所有在售地域 V3.2版本及以上 Logstore bastion_log 仪表盘 无 对象存储 资源操作日志 数据操作日志 数据访问日志、计量日志 过期文件删除日志 CDN回流日志 华东1...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
通过DaemonSet方式采集Kubernetes容器文本日志
containerd：当容器被停止时，Logtail会持续持有容器内文件的句柄（即保持对日志文件的打开状态），直至所有日志文件内容发送完毕。因此，当出现网络延迟、资源占用多等原因导致的采集延时时，可能会导致业务容器不能及时销毁。前提条件 已...
使用前须知
日志服务联合阿里云负载均衡推出 CloudLens for CLB，提供CLB访问日志分析、配置审计日志分析、云监控事件分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过 CloudLens for CLB 了解客户端用户行为...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
EMR HBase日志说明
日志文件保留策略 由于*.gc和*.out日志文件日志量较少，这里的日志文件保留策略主要是针对*.log日志文件。默认保留策略：保留20个，每个文件最大256 MB。说明 您可以根据实际需求修改/etc/taihao-apps/hbase-conf/log4j.properties 配置...
开启日志投递
E-Mapreduce（简称EMR）的开源组件在运行过程中会产生大量日志。本文介绍如何在EMR控制台中开启日志投递功能，将EMR日志投递到日志服务中。前提条件 已创建EMR集群。具体操作，请参见 E-MapReduce快速入门。使用限制 本文操作仅适用于新版...
Logtail最佳实践
本文介绍Logtail采集相关的最佳实践。分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志...插件使用 日志采集支持纳秒精度时间戳 Logtail使用Grok语法解析日志
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
日志类别及字段说明
防病毒版和高级版仅支持主机和安全两大类日志，不支持网络日志。说明 全球（不含中国）区域不支持查看网络日志。网络日志 日志类型_topic_描述 采集周期 Web访问日志 sas-log-http 记录用户请求Web服务器和Web服务器响应的日志，包括HTTP...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
日志转存
日志文件命名规则 转存后的日志文件命名规则如下：<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString 字段 说明 TargetPrefix 日志文件的文件名前缀。SourceBucket 产生访问日志的源Bucket名称。YYYY-mm-DD-HH-MM-SS 日志文件...
阿里云日志服务Splunk Add-on
默认值：60s SLS data fetch interval 是，Integer 日志拉取间隔，如果日志频率较低，建议不要设得太小。单位：s。默认值：1s Topic filter 否，String Topic过滤字符串，以；间隔区分多个过滤的Topic。如果日志的topic被命中，则忽略该...
采集企业内网服务器日志
本文以Nginx为例，介绍配置正向代理服务器以及通过代理模式将企业内网服务器日志采集到日志服务的解决方案。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已在服务器上安装Linux Logtail 1.5.0及...
上下文查询
传统的上下文查询中，需要管理员等相关人员添加机器登录权限，然后运维人员依次登录应用所部署的每一台机器，以订单ID为关键词搜索应用程序日志文件，帮助判断下单失败原因。在日志服务中，可以按照以下步骤排查。在服务器上安装日志采集...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
导入OSS数据
本文介绍导入OSS数据到日志服务所涉及的使用限制。采集限制 限制项 说明 单个文件大小 如果是Snappy压缩格式的文件（非Framing-format格式），最大支持350 MB。如果是其他格式的文件，最大支持5 GB。单个文件大小超过限制时，导入任务会...
控制台提示“查询结果不精确”，如何解决？
查询时间范围太大 例如查询时间范围为3个月或1年时，日志服务无法在一次查询中完整扫描这个时间段内的所有日志。为了快速返回结果，先返回部分不精确的结果。查询条件过于复杂 例如您在同一个查询语句中设置了30个查询条件，则日志服务无法...
- 产品推荐
- 这些文档可能帮助您