使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
保留字段
在采集日志或投递数据到其他云产品时，日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即...
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和...
提取日志时间
在使用Logtail采集日志时，可以使用 processor_gotime 插件或 processor_strptime 插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置...
最佳实践
解析Syslog标准格式数据 解析Nginx日志 解析Java报错日志 提取字符串动态键值对 特定格式文本数据加工 解析CSV格式日志 复杂JSON数据加工 转换Log为Metric 从其他Logstore获取数据进行数据富化 从OSS获取IPIP库进行IP地址数据富化 从OSS...
解析Nginx日志
解析方案简介 日志服务支持通过数据加工的正则表达式和GROK解析Nginx日志，两种方案对比如下：正则表达式方案 对不擅长正则表达式的分析人员，使用正则表达式解析日志时会存在使用难度高、加工效率低、学习成本高和灵活性不足的问题。...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
投递日志到MaxCompute（旧版）
您可以在日志服务控制台实时查询所采集到的日志，并将日志投递到MaxCompute，进行进一步的BI分析及数据挖掘。本文介绍通过日志服务投递日志到MaxCompute的操作步骤。前提条件 已开通MaxCompute，并创建表。更多信息，请参见 创建表。使用...
解析与更新JSON数据
本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过 e_json 函数展开和提取对象。示例1：展开一层JSON 例如，展开 data 字段值中的第一层键值对。原始日志 data:{...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
解析不生效类问题FAQ
网站打开不稳定和网站访问慢：这两项都不在云解析DNS的控制范围内，域名解析的主要功能就将域名解析到网站服务器IP地址上，所以如果访问域名能打开网页，就说明解析服务是正常的。需要联系您的技术人员分别从服务器配置、网站程序、网络...
解析JSON格式日志
ECI的标准输出日志为原生K8s日志，每行日志前会增加时间戳、来源等信息，这会导致系统无法正常解析JSON格式日志。本文介绍如何通过阿里云日志服务SLS的Processor能力解决ECI日志的JSON格式解析问题。问题现象 ECI底层组件记录的标准输出...
使用前须知
功能优势 等保合规：支持存储六个月的网站访问日志，助力网站符合等保合规要求。配置简单：轻松配置即可实时采集互联网流量日志。实时分析：依托 日志服务，提供实时日志分析能力、开箱即用的报表中心，让您对经过云防火墙的互联网流量以及...
常见问题
存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、云产品日志、时序数据和链路数据等。智能运维：提供智能聚类、异常检测和异常预测能力。告警监控：监控应用业务、用户体验等数据，具备可视化分析与告警能力。问题...
使用前须知
阿里云Kubernetes Ingress组件除了提供外部...对于自定义日志格式的Ingress访问日志，需手动配置解析规则解析日志，对应的日志字段名称需要符合默认的字段命名规则。日志中心配置完成后只对新产生的日志生效，存量日志并不会转换成指标信息。
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
获取操作日志
若ZondId非空，则获取当前Zone的解析记录变更日志。若ZoneId为空，则获取当前账户下所有Zone操作及Zone解析变更日志。PageNumber Integer 否 1 当前页数，起始值为 1，默认为 1。PageSize Integer 否 100 分页查询时设置的每页行数，最大值...
计费案例
少于100万次 免费 案例2 A网站的访问日志平均为200 Byte/条，1天共1亿条日志，即每天日志量约为18.6 GB。目前A网站通过日志服务（Shard数量为2个，保存时间为3天）分析网站运营情况。假设本案例中的上传压缩率为20%且不计免费额度。1天的...
解析Syslog标准格式数据
[1111]level:[error]message:Syslog test 拓展解析priority 解析FluentRFC5424格式和FluentRFC3164格式的Syslog过后的日志内容，还可以对priority进一步解析，并且匹配解析出来的facility和severity信息，关于使用RFC5424协议更多内容请...
获取解析记录操作日志
调用DescribeRecordLogs根据传入参数获取域名的解析操作日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
内网DNS解析简介
涵盖内置权威、缓存、转发、递归等功能模块，为云上客户在VPC内网环境下的各种客户端（如ECS主机、容器）提供域名解析、内网域名解析加速、内网私有权威域名定义、云上与云下IDC解析流量转发、内网解析流量日志分析等服务。内网DNS解析服务...
Logtail配置
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 ...
获取操作日志
若ZondId非空，则获取当前Zone的解析记录变更日志。若ZoneId为空，则获取当前账户下所有Zone操作及Zone解析变更日志。PageNumber Integer 否 1 当前页数，起始值为 1，默认为 1。PageSize Integer 否 100 分页查询时设置的每页行数，最大值...
DescribeRecordLogs-获取解析记录操作日志
根据传入参数获取域名的解析操作日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
使用前须知
Web访问日志通常用于分析Web流量和用户行为、识别访问模式和异常情况、优化网站性能等。数据延迟采集，延迟时间一般为：1~12小时 DNS解析日志 sas-log-dns 记录DNS解析过程详细信息的日志，包括请求域名、查询类型、客户端IP地址、响应值等...
提取字符串动态键值对
第一次加工 需求 需求1：对日志解析出 proto、domain、param 等内容。需求2：对 param 中的键值对做展开操作。原始日志_source_:192.168.0.100_tag_:_client_ip_:192.168.0.200_tag_:_receive_time_:1563517113_topic_:request:...
DNS流量分析简介
3、DNS解析准确性问题排查场景 当您在排查终端（PC、手机等）域名解析请求调度准确性问题时，可通过DNS流量分析“解析应答明细日志”功能来查找对应解析请求应答日志（例如在某终端访问一个特殊不公开的业务子域名，通过该特殊子域名找到...
解析应答明细日志
概述 当您在排查终端（PC、手机等）域名解析请求调度准确性问题时，可通过DNS流量分析“解析应答明细日志”功能来查找对应解析请求应答日志，从日志中查看DNS的请求来源IP，并根据IP的地域运营商属性确认是否存在调度不精准的问题。...
日志（Log）
您通过Logtail极简模式（单行或多行）采集日志时，Logtail不会对日志内容进行解析。整条原始日志将被上传到 content 字段中。Key:Value 的详细说明如下：Key为字段名称，需为UTF-8编码字符串（字母、下划线和数字但不以数字开头）。字符串...
API概览
云解析 PrivateZone提供以下相关API接口。Zone管理 API 描述 查询服务状态 调用DescribeUserServiceStatus查询当前用户的服务状态，例如是否开通服务，是否欠费等。获取zone列表 调用DescribeZones查询用户的zone列表。添加zone 调用...
API概览
云解析 PrivateZone提供以下相关API接口。Zone管理 API 描述 查询服务状态 调用DescribeUserServiceStatus查询当前用户的服务状态，例如是否开通服务，是否欠费等。获取zone列表 调用DescribeZones查询用户的zone列表。添加zone 调用...
通过消费组读取文本日志进行模板匹配
日志模板匹配通过在线匹配日志和模板，监控日志模板的统计信息，例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
数据类型
例如以下为非完整的JSON日志，日志服务可正确解析 content.remote_addr 字段、content.request.request_length 字段和 content.request.request_method 字段。content:{ remote_addr:"192.0.2.0"request:{ request_length:"73"request_...
设置解析前需要准备什么？
解析设置 就是指将域名指向网站空间IP地址，完成域名和IP的映射关系。例如将域名example.com映射到IP地址1.1.XX.XX（网站服务器），那么访问域名，就能够访问到存放在该网站服务器里的网站内容了。为什么要做解析设置？解析设置成功，则...
解析设置类常见问题总结
答：智能解析，会判断访问者的来源，为不同的访问者智能返回不同的IP地址，可使访问者在访问网站时可获取用户指定的IP地址，智能解析的地理粒度级别，请参阅 智能解析 文档。智能解析是如何判断访问者的地理位置？答：云解析DNS是通过访问...
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
打包字段
您在使用Logtail采集日志时，可以使用processor_packjson插件将一个或多个字段打包为JSON Object格式的字段。本文介绍processor_packjson插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：...
- 产品推荐
- 这些文档可能帮助您