查看全局数据
MySQL日志统计 PgSQL日志总日志量、小时日志量、天日志量 PgSQL日志统计 MSSQL日志总日志量、小时日志量、天日志量 MSSQL日志统计 RDS全局信息 全局监控统计 日志量整体趋势、子产品日志量趋势 RDS过去30天的日志量趋势
通过日志监控实现网站访问日志的统计与报警
本文为您介绍如何使用日志监控统计网站访问日志（例如：Nginx，Apache）的QPS、状态码和响应时间，并对这些监控项设置报警规则。重要 仅2022年09月13日22:00:00之前已订购包年包月套餐（cms_edition）的用户或已开通按量计费（cms_post）的...
使用前须知
通常来说，通过监控查询、用量查询功能查到的加速域名使用的流量数据是通过日志统计的流量数据的1.1倍，详细请参见 为什么监控查询流量、用量查询流量与日志统计流量有差异。使用限制 专属Logstore默认类型为Standard，默认数据存储时间7天...
日志管理
修改关闭索引分析功能，会使得日志关键词查询、日志统计分析、Dashboard、告警等功能不可用，请谨慎操作。修改Logstore数据保存时间。修改Logstore数据保存时间为1天。日志服务收取一定的Logstore数据存储费用，您可以选择缩减存储时间以...
字段设置
功能特点 支持前1千万条日志统计分析。说明 在选中的查询时间段内，采样1千万条数据。如果您使用快速查询生成SQL语句，需删除 Limit 10000000 字段，才能分析全量日志。支持将字段分析查询生成查询语句。字段统计分析请参见 字段分析。操作...
最佳实践
时序存储 使用Prometheus采集Kubernetes监控数据 查询与分析 查询和分析网站日志 查询和分析JSON日志 Data Explorer案例 关联Logstore与MySQL数据库进行查询分析 关联Logstore与OSS外表进行查询和分析 查询MNS日志 采集及分析Nginx监控日志...
日志字段详情
目前友盟实时日志订阅功能支持U-App（App日志）、U-MiniProgram（小程序日志）和U-Web（网站日志）三类数据，本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...
算法说明
日志服务异常智能分析应用提供文本分析功能，用于对日志中的文本日志进行智能化、自动化的分析，提供全局的统计分析结果。文本分析功能通过 日志模板发现 和 日志模板匹配 两个子任务，实现对于日志数据的监控和统计。您可以根据待分析的...
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
日志查询常见问题
本文介绍日志查询常见问题。如何在查询时判断日志的来源机器 如果通过Logtail采集日志时，机器组类型为IP地址机器组，机器组中的机器通过内网IP区分。在查询时，可以通过hostname和自定义配置的工作IP来判断日志的来源机器。例如，统计日志...
计费概述
购买 计费周期 日志服务以天为周期统计日志服务所有资源的使用量，并按照使用量结算费用。相关文档 资源包 资源包介绍 资源包购买指南 资源包续费指南 资源包抵扣明细 资源包使用明细 资源包预警设置 更多参考 计费项 账单查询 用量查询 ...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
监控类型概述
分钟统计/多 Key：要从上面这批日志里了解在 2012-11-11 11:11 这一分钟，每个收费站各通行了多少辆车，使用分钟统计/多 Key 对收费站这个维度进行 Group By 统计，就可以统计出每个收费站的分钟级数据。分钟统计 Top：在统计收费站车辆...
自定义监控概览
按秒级统计数据，支持日志关键字筛选，不支持预警配置 分钟统计 Top 统计维度的多个 Key 的每分钟的数据，并对数值排序，展现前 N 个最高数值的 Key，如统计平均耗时前 10 的错误码。单笔数据 Top 对单条日志的数值维度进行排序，查看最高 ...
使用前须知
支持一键开启实例日志（重要日志、详细日志、任务运行日志）和全局日志（审计日志、计费日志、错误日志、监控指标）的采集功能，集中管理日志的采集状态。说明 实例日志（重要日志、详细日志、任务运行日志）和全局日志（审计日志、错误...
提取字符串动态键值对
r"\b(\w+)eat([^\|]+)",{r"\1":r"\2 by \1"})加工结果 处理后日志为：content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据...
通过性能监控分析及优化应用程序的性能
验证优化 再次打开QPS统计日志，发现同等资源条件下，10次的平均QPS提升到1399左右，接口性能得到近40倍的提升。内存优化 定位问题 A公司的应用程序是基于Go语言开发的，Go程序的内存性能指标分别为alloc_objects、alloc_space、inuse_...
通过Data Explorer构建查询和分析语句
例如分析网站访问日志，统计过去4小时内所有请求的平均耗时，以及同比昨天同一时间段的变化情况。其中，日志中的 request_time 字段记录了每个请求的耗时。针对此需求，您只需组合指标统计和同环比两个场景，然后通过 request_time 字段...
流量统计常见问题
您可以通过云虚拟主机管理控制台下载网站日志到本地主机，再通过第三方日志分析工具（例如AWstats）来分析网站访问记录，查看网站超流量的具体原因。关于如何下载访问日志的具体操作，请参见 下载网站访问日志。为什么使用第三方流量统计...
时序模式
通过统计日志数量，统计网站访问数量（pv）。②：设置查询时间为 1天（相对）。③：单击 应用，应用该查询和分析语句。④：在 通用配置 页签下的 查询分析配置 区域，设置 y轴字段 为 pv 和 uv。⑤：打开 时序模式 开关。案例2：开启时序...
Data Explorer案例
Data Explorer配置 查询语句 SLS and request_time(status>=200 and status)分析示例 示例1 在网站访问日志中，统计过去一天内网站请求的每小时平均耗时以及随时间的变化情况。Data Explorer配置 查询和分析语句|select date_trunc('hour',...
分析网站日志
本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 网站日志是网站运维的重要信息，包含PV、...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
常见问题
存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、云产品日志、时序数据和链路数据等。智能运维：提供智能聚类、异常检测和异常预测能力。告警监控：监控应用业务、用户体验等数据，具备可视化分析与告警能力。问题...
日志查询
查询与分析结果（即命中查询条件的WAF日志数据）将会显示在页面下方，包含日志分布直方图、原始日志、统计图表、日志聚类。您可以基于查询结果进行快速分析、生成统计图表、设置告警等，具体说明，请参见 查询与分析结果说明。查询与分析...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
复杂JSON数据加工
status":"red"}]overal_status:yellow servers:[{"host":"192.0.2.1","status":"green"},{"host":"192.0.2.2","status":"green"}]service:search_service 对主题是 overall_type 的日志，统计 client_count 和 server_count。e_if(e_...
如何查询日志的来源机器和日志条目
本文主要介绍在日志服务控制台中，如何查询日志的来源机器和日志条目。通过Logtail采集日志时，如果机器组类型为IP地址机器组，则机器组中的机器通过IP地址的方式区分。在查询时，可以通过hostname和自定义配置的IP地址来判断日志的来源...
日志（Log）
日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。数据域 说明 格式 日志主题 日志服务保留字段（_topic_）用于...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
保留字段
在采集日志或投递数据到其他云产品时，日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即...
通过消费组读取文本日志进行模板匹配
日志模板匹配通过在线匹配日志和模板，监控日志模板的统计信息，例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所...
字段分析
SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计分析。此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已...
添加统计图表（Pro版本）到仪表盘
日志服务支持将查询和分析结果通过图表形式保存到仪表盘中。本文介绍如何将统计图表（Pro版本）添加到仪表盘。前提条件 已采集数据。支持采集 日志、时序数据 和 Trace。重要 基于日志数据获取统计图表并添加到仪表盘前，需要先将日志采集...
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
查询分析程序日志
本文通过查询、关联分析、统计分析等场景介绍如何使用日志服务对程序日志进行查询和分析。背景信息 程序日志内容全、存在一定共性，它是运维程序的重要信息，但程序日志具有如下不便于存储与分析的特性：格式随意：不同开发者的代码风格...
新功能发布记录
全部地域 控制台内嵌及分享（新版）通过消费组读取文本日志进行模板匹配 日志模板匹配通过在线匹配日志和模板，监控日志模板的统计信息，例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。全部地域 通过消费组读取文本日志...
计费案例
按量付费方式 按使用功能计费模式案例 案例1（免费使用日志服务）假设您有1台服务器，每天产生10 MB日志，您希望通过日志服务（Shard数量为1个，保存时间为1天）分析每天的日志，并通过Java程序实时订阅。假设本案例中的上传压缩率为20%。...
- 产品推荐
- 这些文档可能帮助您