日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
管理服务日志
背景信息 开启服务日志功能时，您可以选择服务日志的类型，包括 详细日志、重要日志、任务运行日志，日志类型的说明请参见 日志类型。详细日志：详细日志会在您选择的Project创建名称为 internal-operation_log 的LogStore，在当前Project...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
采集Beats和Logstash数据源
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集Beats和Logstash数据源。前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装...
RDS SQL Server云数据库的磁盘空间被占满
model_desc,log_reuse_wait,log_reuse_wait_desc,is_auto_shrink_on from sys.databases where name=DB_NAME())b WHERE type=1 说明[$Database_Name]为数据库名。[$Logic_Name]为逻辑文件名。执行以下SQL语句，查看日志文件空间是否可回收...
如何调试正则表达式
在 TEST STRING 中粘贴日志样例中的日志，at之后的内容并没有被包含到message字段中（蓝色部分），因此该表达式不能完全匹配样例日志，即对于该样例日志来说，这条正则表达式是错误的，使用这条正则表达式无法正常采集到所有日志数据。...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
.NET SDK概述
LoghubSample.cs 查询日志库、写入日志和查询日志相关示例。相关文档 在调用API接口过程中，若服务端返回结果中包含错误信息，则表示调用API接口失败。您可以参考API错误码对照表查找对应的解决方法。更多信息，请参见 API错误处理对照表。...
按使用功能计费模式计费项
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务按使用功能计费模式计费项的组成及付费方式。说明 日志服务按使用功能计费模式支持采集日志和时序数据，时序数据...
logging
名称 类型 描述 示例值 object 项目的服务日志数据结构。loggingProject string 服务日志要保存到的 Project 名称。my-project loggingDetails object[]服务日志配置列表。type string 服务日志的种类。取值包括：consumergroup_log：消费...
使用前须知
阿里云日志服务和企业云监控联合推出日志功能，将指标仓库数据推送到日志服务中，日志服务提供实时查询、可视化分析、告警、投递、加工等功能。本文介绍企业云监控指标仓库数据相关的资产详情、费用说明、使用限制等信息。资源说明 专属...
关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
简介
本文介绍RAM的基本概念和相关操作，包括身份管理、资源访问控制、授权RAM用户访问日志服务、授权服务角色读日志和授权用户角色操作日志服务。基本概念 RAM（Resource Access Management）是阿里云提供的用户身份管理与资源访问控制服务。您...
数据报表
通用数据库审计应用提供审计运营中心、审计安全中心和审计性能中心仪表盘，从不同维度展示数据库审计相关的指标。前提条件 已配置通用数据库审计。具体操作，请参见 配置通用数据库审计。功能入口 登录 日志服务控制台。在 日志应用 区域的...
采集Docker事件
Logtail采集Kubernetes日志请参见 采集Kubernetes日志，采集标准容器日志请参见 采集标准Docker容器日志。Logtail在重启或停止期间，无法采集容器事件。应用场景 监控所有容器的启停事件，当核心容器停止后立即告警。采集所有容器事件，...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
管理日志存储空间
开通DDoS高防全量日志服务后，您可以根据需要修改日志存储容量的规格，或清空已存储的全部日志。背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如...
采集脚本执行日志
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集脚本执行日志。前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，...
开通实时日志订阅功能
本文介绍如何在友盟控制台上开通实时日志订阅功能，将U-App、U-MiniProgram和U-Web日志推送至日志服务。前提条件 已使用友盟U-App、U-MiniProgram或者U-Web产品完成数据采集。已创建Project和Logstore。更多信息，请参见 创建项目Project ...
GetLogs-查询日志库日志
查询指定Project下某个Logstore中的日志数据。接口说明 说明 日志服务支持创建定时 SQL 任务。具体操作，请参见 创建定时 SQL 任务。请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。当查询涉及...
pgAudit
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
pgAudit
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
pgAudit
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
pgAudit
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
Flume消费
背景信息 aliyun-log-flume是一个实现日志服务与Flume对接的插件，与Flume对接后，日志服务可以通过Flume与其它数据系统如HDFS、Kafka等对接。aliyun-log-flume提供Sink和Source实现日志服务与Flume的对接。Sink：Flume读取其他数据源的...
RDS安全
RDS数据库更新峰值监控告警 告警ID sls_app_audit_db_at_rds_update_peak 告警名称 RDS数据库更新峰值监控告警 版本号 1 类别 云平台、阿里云、数据库安全、RDS安全 作用 监控RDS更新（增删改）峰值。RDS更新（增删改）峰值大于等于规则...
如何不再使用日志服务
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。本文主要介绍如何不再使用日志服务。详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
日志（Log）
格式 文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
RDS空间组成说明
日志文件空间：这是数据库运行过程中产生的空间；更新事务越多，空间占用就越大。不过RDS已经进行优化，会尽可能快的将日志存储到OSS，以防空间占满而锁定。RDS SQL Server磁盘空间 RDS Server的磁盘空间包含如下：数据空间：用户数据所...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
查询MNS日志
阿里云消息服务（MNS）日志推送到日志服务后，可进行实时查询，本文介绍实时查询的常用场景及操作步骤，您也可以通过多个关键字组合方式实现更加复杂的查询。前提条件 已采集到MNS日志。具体操作，请参见 MNS日志。已配置索引。具体操作，...
选择网络
网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、稳定，内网包括VPC和经典网络。公网：使用公网传输日志数据，不仅会受到网络带宽的限制，还可能会因网络抖动、延迟、丢包等影响数据采集的...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集详情。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
日志索引表
监控指标 CloudLens for OSS 访问明细日志 计量日志 监控指标 CloudLens for EBS 监控指标 数据库 CloudLens for PolarDB 审计日志 慢日志 错误日志 性能日志 CloudLens for RDS 审计日志 CloudLens for Redis 审计日志 慢日志 运行日志 ...
- 产品推荐
- 这些文档可能帮助您