日志管理
日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里云ECS服务器的数据，日志服务提供的Logtail日志收集服务同样非常方便地收集到日志数据。删除日志库，日志数据是否丢失？删除日志库会导致日志数据丢失，...
配置Nginx日志中心
本文介绍如何配置Nginx日志中心，将采集到Nginx日志进行多维度的可视化分析。前提条件 已通过Logtail Nginx模式采集到Nginx日志。更多信息，请参见 使用Nginx配置模式采集日志。操作步骤 登录 日志服务控制台。在 日志应用 区域，单击 智能...
云速搭部署 SLS 实现日志采集处理分析
通过云速搭部署 ECS+SLS，在 ECS 上安装 logtail 收集 nginx 应用日志写入SLS。通过日志生成器模拟 nginx 日志生成，并通过 SLS 进行日志分析。产品列表 云服务器ECS 专有网络VPC 日志服务SLS 云速搭CADT 方案架构 操作步骤 具体操作步骤请...
Nginx模式解析
Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$request_time$request_length ' '...
日志同步分析概述
Elastic Agent采集Nginx日志数据 通过Elastic Agent采集服务器上的Nginx日志数据，在Kibana中进行可视化分析，提升Nginx服务器的性能和安全性。Elastic Agent采集NetFlow日志数据 NetFlow是一种网络流量分析技术，用于监测、分析和诊断网络...
最佳实践
解析Syslog标准格式数据 解析Nginx日志 解析Java报错日志 提取字符串动态键值对 特定格式文本数据加工 解析CSV格式日志 复杂JSON数据加工 转换Log为Metric 从其他Logstore获取数据进行数据富化 从OSS获取IPIP库进行IP地址数据富化 从OSS...
使用前须知
阿里云日志服务Nginx日志中心提供日志分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过Nginx日志中心了解客户端用户行为、客户端用户的地域分布、请求成功率、响应延迟等。本文介绍Nginx日志中心...
常见问题
例如数据写入日志服务延迟了5分钟，实例执行时间为12:03:00，SQL时间窗口为相对一分钟，即[12:02:00，12:03:00)，则查询不到最新的数据。数据写入日志服务到能够被查询到，这期间存在延时（一般少于3秒）。即使延时很低，也存在数据漏查的...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
Elastic Agent采集Nginx日志数据
通过Kibana中的Fleet Server可以管理Elastic Agent采集的Nginx日志，将Nginx日志输出到Kibana中进行可视化分析，帮助开发人员更好地监控和优化Nginx服务器的性能和安全性。本文在Fleet中同一个集成策略下通过Fleet Server管理两台源端ECS...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
本文以ECS上的Nginx日志为例，介绍如何通过日志服务将日志数据写入AnalyticDB MySQL 2.0集群。背景信息 日志作为一种特殊的数据，对处理历史数据、诊断问题以及了解系统活动等有着非常重要的作用。对数据分析人员、开发人员或者运维人员而...
RDS SQL Server如何收缩事务日志
SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：Msg 50000,Level 16,State 1,Procedure*,Line 46 Login User[Test11]can't change database[TestDb]...
配置通用数据库审计
您可以在数据库服务器或应用服务器上安装Logtail和抓包工具，采集数据库的所有活动记录，实现数据库审计。本文介绍配置通用数据库审计的操作步骤。前提条件 已有可用的数据库。已创建Project。具体操作，请参见 创建Project。操作步骤 登录...
保留字段
在采集日志或投递数据到其他云产品时，日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
产品试用
查询与分析 SLS Playground提供了多个场景的演示数据，例如Nginx日志、OSS访问日志、VPC流日志等，便于您体验查询与分析功能。可视化图表 SLS Playground提供了多个可视化图表Demo，您可以在名为charts-demo的Project中进行试用。
DevOps日志分析实战之Nginx日志分析
本视频介绍如何通过日志服务进行Nginx日志分析。
日志（Log）
格式 文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志...
对接Grafana
本文介绍如何通过Grafana可视化分析日志服务所采集到的Nginx日志。前提条件 已采集Nginx日志数据。更多信息，请参见 使用Nginx配置模式采集日志。已开启并配置索引。更多信息，请参见 分析Nginx访问日志。下载数据源插件项目压缩包。下载...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
分析Nginx访问日志
日志服务支持通过数据接入向导一站式采集Nginx日志，并为Nginx日志创建索引和仪表盘。nginx_Nginx访问日志仪表盘包括来源IP分布、请求状态占比、请求方法占比、访问PV/UV统计、流入流出流量统计、请求UA占比、前十访问来源、访问前十地址和...
解析Nginx日志
解析方案简介 日志服务支持通过数据加工的正则表达式和GROK解析Nginx日志，两种方案对比如下：正则表达式方案 对不擅长正则表达式的分析人员，使用正则表达式解析日志时会存在使用难度高、加工效率低、学习成本高和灵活性不足的问题。...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
GetLogs
当日志写入到Logstore中，日志服务的查询接口（GetHistograms和GetLogs）能够查到该日志的延时因写入日志类型不同而异。日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点(-180秒，900秒]。例如，日志...
动作列表
写操作：您可以对日志服务资源进行写入操作。列表操作：您可以对日志服务资源进行查看操作。资源类型 动作（Action）说明 Project log:CreateProject 创建Project。log:DeleteProject 删除Project。log:GetProject 查看Project属性。log:...
监控时效性说明
在数据写入日志服务和数据被查询之间存在延时，即便延时很低，也存在数据漏查的风险。例如告警执行时间为12:03:30，查询范围为相对一分钟时，则查询时间范围为[12:02:30,12:03:30)，对于12:03:29秒写入的日志，无法保证在12:03:30这次时间...
使用前须知
阿里云日志服务联合数据库MongoDB推出日志审计功能，将日志服务的部分功能融合到自身的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍MongoDB日志相关的资源说明、应用场景、费用说明及使用限制。资源...
Flink消费
如果您需要指定数据写到某一个Shard中，可以使用LogPartitioner产生数据的HashKey，LogPartitioner为可选项，如果您没有配置，数据会随机写入某一个Shard。示例如下：FlinkLogProducer<String>logProducer=new FlinkLogProducer(new ...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 仅运行1.7.0及以上软件版本的SAG-1000设备支持流日志功能。...
矩形树图
本文介绍矩形树图操作步骤及案例。简介 矩形树图，即矩形式树状结构图（Treemap），用...示例 分析NGINX日志中的host分布。select host,count(1)as count group by host order by count desc limit 1000 设置 分类 为 host，数值列 为 count。
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
基于Indexing Service实现数据流管理
通过使用阿里云Elasticsearch 7.10内核增强版Indexing Service系列，可以为您实现云托管写入加速和按流量付费（即您无需按集群峰值写入吞吐预留资源），能够极低成本实现海量时序日志分析。本文为您介绍如何基于Indexing Service系列实现...
词云
本文介绍词云操作步骤及案例。...最小字号：10px-24px 最大字号：50px-80px 示例 分析NGINX日志中hostname分布。select hostname,count(1)as count group by hostname order by count desc limit 1000 词列为 hostname，数值列为 count。
时间字段转换示例
日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、查询、分析。日志中原有的时间字段：日志在生成时，用于记录日志事件发生时间的字段，是原始日志的字段。时间字段的格式...
分组评估
示例一：分组监控时序数据 例如您将多个服务器的指标数据存储在一个时序库中，但希望每个服务器的CPU使用率（cpu_util）超过95%时，日志服务可以分开发送每个服务器的告警信息。针对此需求，您可以在创建告警监控规则时设置分组评估。具体...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
数据编码方式
日志服务使用Protocol Buffer格式作为标准的日志写入格式。Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { ...
通过NLB获取客户端真实IP
步骤二：验证后端服务器可获取客户端真实IP 当Nginx作为后端服务器时，您可以通过检查Nginx日志来判断是否成功获取到了客户端的真实IP地址。Nginx日志字段默认配置示例如下：http { # 默认配置 log_format main '$remote_addr-$remote_user...
- 产品推荐
- 这些文档可能帮助您