最佳实践
时序存储 使用Prometheus采集Kubernetes监控数据 查询与分析 查询和分析网站日志 查询和分析JSON日志 Data Explorer案例 关联Logstore与MySQL数据库进行查询分析 关联Logstore与OSS外表进行查询和分析 查询MNS日志 采集及分析Nginx监控日志...
分析网站日志
本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 网站日志是网站运维的重要信息，包含PV、...
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
日志字段详情
目前友盟实时日志订阅功能支持U-App（App日志）、U-MiniProgram（小程序日志）和U-Web（网站日志）三类数据，本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...
创建索引
倒排索引是一种数据存储结构，由关键词...查询和分析的示例，请参见 查询和分析网站日志、查询和分析JSON日志、采集及分析Nginx监控日志、分析负载均衡7层访问日志。设置字段的最大长度 分析时，日志服务默认支持的字段值最大长度为2048字节，...
查询和分析网站日志
本文以查询和分析网站日志为例，帮助您快速上手查询和分析操作。前提条件 已采集到网站访问日志。具体操作，请参见 使用完整正则模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>...
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
提取字符串动态键值对
r"\b(\w+)eat([^\|]+)",{r"\1":r"\2 by \1"})加工结果 处理后日志为：content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据...
下载或删除网站日志
查看网站日志可以帮助您了解访问者的需求、网站访问量的变化趋势或分析网站运行中遇到的故障问题等，从而提升用户体验和明确网站优化方向，本文为您介绍下载或删除网站日志的方法。前提条件 已安装FTP客户端。说明 建议您使用FileZilla工具...
使用Java SDK管理Project
项目（Project）是日志服务的资源管理单元，包含Logstore、MetricStore和机器组等资源，同时也是您访问日志服务资源的入口。本文通过代码示例介绍如何创建、修改、查询、删除Project等。前提条件 已开通日志服务。更多信息，请参见 开通...
日志采集Agent对比
remote_port timeformat:%d/b/Y:%H:%M:%S 测试结果：写入TPS 写入流量（KB/s）CPU使用率（%）内存使用（MB）500 178.22 1.7 13 1000 356.45 3 15 5000 1782.23 15.3 23 10000 3564.45 31.6 25 单核处理能力对 总结 可以看到三款日志工具各...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
日志导出工具
日志导出工具可将保存在 对象存储OSS 的 消息服务MNS 的日志导出到 日志服务SLS 进行查询和分析。本文介绍如何在Windows系统使用日志导出工具。版本说明 此工具适用于Python 2.6和2.7版本，Windows和Linux平台均可使用。版本：Version 1.0....
日志（Log）
日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。数据域 说明 格式 日志主题 日志服务保留字段（_topic_）用于...
快速设置日志告警
网站日志告警监控规则 检查频率 根据您配置的频率对查询和分析结果进行检查。固定间隔：按照固定间隔检查查询和分析结果。Cron：通过Cron表达式指定时间间隔，按照该指定的时间间隔检查查询和分析结果。Cron表达式的最小精度为分钟，24小时...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营需求。本文介绍WAF日志服务功能相关的资产...
采集Node.js日志
背景信息 log4js是一个Node.js日志管理工具，您可以通过log4js把Node.js日志打印到文件中，并自定义日志格式，便于日志采集和整理。log4js分为6个输出级别，从低到高分别为trace、debug、info、warn、error、fatal。log4js配置示例如下所示...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和...
Data Explorer案例
Data Explorer配置 查询语句 SLS and request_time(status>=200 and status)分析示例 示例1 在网站访问日志中，统计过去一天内网站请求的每小时平均耗时以及随时间的变化情况。Data Explorer配置 查询和分析语句|select date_trunc('hour',...
自动化集成
日志服务开放了大量的OpenAPI，支持用户通过OpenAPI门户的阿里云SDK等方式进行集成，同时为了更好的采集和使用数据，日志服务自研了日志服务SDK和日志服务CLI，如满足嵌入式/智能设备轻量化采集日志等场景。OpenAPI集成 日志服务 提供日志...
使用前须知
功能优势 等保合规：支持存储六个月的网站访问日志，助力网站符合等保合规要求。配置简单：轻松配置即可实时采集互联网流量日志。实时分析：依托 日志服务，提供实时日志分析能力、开箱即用的报表中心，让您对经过云防火墙的互联网流量以及...
常见问题
存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、云产品日志、时序数据和链路数据等。智能运维：提供智能聚类、异常检测和异常预测能力。告警监控：监控应用业务、用户体验等数据，具备可视化分析与告警能力。问题...
术语表
数据采集 术语 说明 Logtail Logtail是日志服务提供的日志采集工具。更多信息，请参见 Logtail采集概述。Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
通过Data Explorer构建查询和分析语句
日志服务提供Data Explorer功能，帮助您简单、快速地构建查询和分析语句，无需编写SQL语句。前提条件 已创建索引。具体操作，请参见 创建索引。功能入口 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页...
如何解决查询分析与流处理两种场景下的数据口径差异
在SLS中，主要有两种使用方法：Logtail：Logtail是阿里云日志服务提供的一种轻量级日志采集工具。Logtail采集日志时，会自动在日志数据中添加创建时间。如果这个时间戳和应用程序日志时间的定义不一样（例如，事务日志是在事件发生之后基于...
快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
计费案例
少于100万次 免费 案例2 A网站的访问日志平均为200 Byte/条，1天共1亿条日志，即每天日志量约为18.6 GB。目前A网站通过日志服务（Shard数量为2个，保存时间为3天）分析网站运营情况。假设本案例中的上传压缩率为20%且不计免费额度。1天的...
开通日志功能
使用Serverless Devs工具配置日志 前提条件 安装Serverless Devs 配置Serverless Devs 操作步骤 创建代码目录，目录结构如下所示。code│└─index.js└─s.yaml s.yaml文件示例如下。示例中字段logConfig用于配置日志功能，其中logstore和...
功能特性
第三方可视化工具：日志服务支持直接对接Grafana、DataV等第三方图表。更多信息，请参见 可视化概述。告警 日志服务提供一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。具体说明如下：告警监控：支持通过告警监控规则定期检查...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志，并通过Kafka协议上传到日志服务。本文介绍通过采集工具采集到日志后，利用Kafka协议上传日志到日志服务的操作步骤。相关...
安装CLI
日志服务命令行工具CLI支持大部分日志服务功能操作，包括Project管理、Logstore管理、日志查询、自动分页和多账户跨域复制等场景。本文介绍如何安装日志服务命令行工具CLI。安装之前必读 日志服务CLI工具基于Python开发，需要安装Python。...
Cloud Shell概述
目前Cloud Shell已集成日志服务CLI，您无需下载并安装日志服务CLI工具，就可以使用Cloud Shell管理日志服务资源、下载日志数据。为了避免资源浪费，当Cloud Shell窗口处于30分钟无输入后，将释放为您分配的虚拟机。如果您需要长时间使用...
CLI概述
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。主要功能 日志服务命令行工具CLI的主要功能包括：支持大部分的日志服务REST接口。例如管理Project、Logstore、机器组、消费组和Logtail...
常见问题
本文介绍日志服务CLI工具使用过程中的常见问题。安装时报TLSV1_ALERT_PROTOCOL_VERSION错误 请执行以下命令升级pip后重试。pip3 install pip-U 如何查看CLI使用过程中的日志？生成的警告和错误信息默认保存在~/aliyunlogcli.log 文件。您...
全局参数
在使用日志服务CLI工具执行命令时，不需要每次都输入全局参数。日志服务CLI默认使用全局参数进行请求处理。本文介绍日志服务CLI的常用全局参数。参数名称 数值类型 是否必选 示例值 描述-access-id String 否 LTAI4G243ui*pLMZ 阿里云访问...
查询和分析日志
创建索引后，您可以在查询和分析页面对采集到的日志进行实时查询和分析。前提条件 已 创建索引。...相关文档 查询与分析常见问题 时间字段转换示例 查询和分析网站日志 查询和分析JSON日志 分析Nginx访问日志 分析负载均衡7层访问日志
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
- 产品推荐
- 这些文档可能帮助您