Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
迁移Elasticsearch查询方案到日志服务
日志服务提供Elasticsearch兼容接口，支持您将日志采集到日志服务后，仍可以沿用Elasticsearch的查询方案。...步骤二：删除Filebeat采集链路 在确保双写链路中的日志服务链路满足需求后，去掉Filebeat采集链路，完成采集方式的切换。
通过Logtail跨阿里云账号采集日志
第一个 角色ARN 用于授予数据加工任务使用该角色来读取源Logstore中的数据。角色权限配置说明请参见 授予RAM角色源Logstore读权限。第二个 角色ARN 用于授予数据加工任务使用该角色将数据加工结果写入目标Logstore。角色权限配置说明请参见...
采集主机文本日志
重要 如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。单击 查询日志，系统将跳转至Logstore查询分析页面。您需要等待...
如何不再使用日志服务
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。...详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何停止计费。适用于 日志服务
使用CloudLens for SLS对日志服务进行全面观测
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
最佳实践
添加多Y轴线图 消费与投递 搭建监控系统 计量计费日志 通过Consumer Library实现高可靠消费 日志应用 通用数据库审计 Kubernetes中的通用数据库审计部署方案 Trace服务 导出Trace数据到Grafana 接入Apache SkyWalking Trace数据到日志服务 ...
项目（Project）
建议使用不同的Project管理不同的应用、产品或项目中的数据。具体说明如下：组织、管理不同的Logstore或MetricStore。在实际使用中，您可能需要使用日志服务采集及存储不同项目、产品或者环境的日志。您可以把不同项目、产品或者环境中的...
Apache模式解析
Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化，解析为多个键值对形式。Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog...
GetHistograms
调用GetHistograms接口查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取...
配置Ingress日志中心
如果您修改过Ingress Controller的访问日志格式，请修改此处CRD配置中的正则表达式提取processor_regex部分，具体修改内容请参见 通过DaemonSet-CRD方式采集容器日志 中的CRD配置。如果您当前没有其他系统依赖访问日志，则推荐您将访问日志...
日志主题（Topic）
日志主题（Topic）是日志服务的基础管理单元。...如果不需要区分Logstore中的日志，则在采集日志时设置Topic为 空-不生成Topic 即可。空字符串是一个有效的Topic，即Topic的值为空字符串。Logstore、Topic、Shard之间的关系如下：
Kafka消费概述
场景3：如果Logstore的日志中包含字段 kafka_topic、kafka_partition、kafka_offset、key 和 value 字段，则消费程序会认为该数据为您导入的Kafka数据。更多信息，请参见 导入Kafka数据。为了与导入的数据前保持一致，消费时 key 字段和 ...
智能异常分析概述
处理非结构化的日志数据时，需要对文本日志中的模式进行挖掘。在Trace场景中，有明确的服务拓扑。存在自定义的服务拓扑。核心名词 基本概念 说明 时序序列 在时序巡检任务的配置过程中，需要给算法提供标准的时间序列，即为Unix时间戳形式...
Logtail常见问题
如何实现文件中的日志被采集多份 使用CloudLens排查文件、目录数超限问题（STAT_LIMIT_ALARM、DIR_EXCEED_LIMIT_ALARM）使用CloudLens排查iLogtail文件重复配置问题（MULTI_CONFIG_MATCH_ALARM）使用CloudLens排查iLogtail采集配置错误问题...
采集Syslog
为指定服务器添加Logtail配置后，Logtail会以TCP协议或UDP协议接收转发过来的syslog数据，并根据指定的syslog协议进行解析，提取日志中的facility、tag（program）、severity、content等字段。syslog协议支持 RFC3164 和 RFC5424。实现原理...
使用前须知
当Logstore的计费模式为按写入数据量计费时，仅在日志服务中的数据被外网程序（非阿里云产品）访问时，会产生外网读取流量（按照压缩后的数据量计算）。具体信息，请参见 按写入数据量计费模式计费项。使用限制 专属Logstore不支持写入其他...
什么是Logtail
说明 Logtail不支持采集历史日志，对于一条日志，读取该日志的时间减去日志中记录的时间，差值超过12小时会被丢弃。如果您要采集历史日志文件，请参见 导入历史日志文件。自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行...
映射富化函数
maki pop:200 cid:3 province:sh 示例3：将日志中的 city1、pop1 字段与数据表中的主键（city、pop）进行映射，返回目标行中所有列的值。原始日志 city1:sh name:maki pop1:200 加工规则 e_tablestore_map([("city1","city"),("pop1","pop...
如何调试正则表达式
在 TEST STRING 中粘贴日志样例中的日志，at之后的内容并没有被包含到message字段中（蓝色部分），因此该表达式不能完全匹配样例日志，即对于该样例日志来说，这条正则表达式是错误的，使用这条正则表达式无法正常采集到所有日志数据。...
异常类型说明
文本分析结果数据保存在名为internal-ml-log的Logstore中，您可以通过该数据中的 result.type 字段和 result.anomaly_type 字段分析异常类型。更多信息，请参见 结果字段说明。判断条件 异常类型说明 result.type 字段值为anomaly_info ...
查看日志
查询项 内容 错误日志 记录1个月内数据库运行出错的日志。慢日志明细 记录7天内数据库中执行时间超过1s的SQL语句，并进行相似语句去重。说明 华北3（张家口）的实例仅保留最近9天的错误日志和慢日志明细。系统是从数据库内采集csvlog文件...
查询和分析JSON日志
说明 如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。配置字段索引。以下是JSON格式的日志示例和对应字段的配置。...
采集Systemd Journal日志
0":"emergency""1":"alert""2":"critical""3":"error""4":"warning""5":"notice""6":"informational""7":"debug"UseJournalEventTime boolean 否 是否使用Journal日志中的字段作为日志时间，默认为 false。不配置时，表示使用采集时间作为...
查看错误日志和慢日志
慢日志明细 记录7天内数据库中执行时间超过1s（可以在 参数设置 中修改long_query_time参数来设置）的SQL语句，并进行相似语句去重。说明 控制台每分钟更新一次。慢日志统计 对7天内数据库中执行时间超过1秒（可以在 参数设置 中修改long_...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
Nginx模式解析
Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化，解析为多个键值对形式。Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format ...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为一个程序日志，它一般既包含正常信息，也会包含异常栈等错误信息。WARNING...
常见问题
用于监控日志服务中的日志和时序数据，及时发现异常并触发告警。支持告警降噪、告警事务管理、告警通知等；支持40多个功能场景，充分满足研发、运维、安全以及运营人员的告警监控运维需求。更多信息，请参见 功能概览。日志服务告警适用于...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
成本优化指南
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
使用前须知
网站运营分析 网站访问日志中实时记录了网站访问数据，您可以对采集到的访问日志数据进行SQL查询分析，得到实时的访问情况。例如，判断网站热门程度、访问来源及渠道、客户端分布等，并以此辅助网站运营分析。功能优势 配置简单：轻松配置...
create_external_store
注意事项 说明 在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。更多信息，请参见 关联外部数据源简介、关联Logstore与OSS外表进行查询和分析 和 ...
使用Syslog协议上传日志
unixtimestamp_原始日志中的时间戳（单位：纳秒）。content 原始日志中的msg字段。常见问题与排查 测试日志上传 您可以使用 Netcat 测试日志上传，以检查网络是否连通以及AccessKey是否具有上传权限。登录要测试日志上传的服务器。执行以下...
使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
通过Sidecar方式采集Kubernetes容器文本日志
当用户通过kubectl或其他Kubernetes管理工具创建、更新或删除 AliyunLogConfig 资源时，alibaba-log-controller 会监测到这些变化，然后根据资源配置文件中的内容和服务端Logtail采集配置的状态，自动向日志服务提交各种请求，如采集配置...
提取日志时间
在使用Logtail采集日志时，可以使用 processor_gotime 插件或 processor_strptime 插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置...
通过DaemonSet方式采集Kubernetes容器文本日志
当用户通过kubectl或其他Kubernetes管理工具创建、更新或删除 AliyunLogConfig 资源时，alibaba-log-controller 会监测到这些变化，然后根据资源配置文件中的内容和服务端Logtail采集配置的状态，自动向日志服务提交各种请求，如采集配置...
开启日志采集功能
CloudLens for Redis支持一键开启日志采集功能，用于采集云数据库Redis的慢日志、运行日志和审计日志。本文介绍开启日志采集功能的操作步骤及相关操作。前提条件 实例需满足下述条件：版本 为Redis社区版、Tair（Redis企业版）内存型、Tair...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
- 产品推荐
- 这些文档可能帮助您