使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
CreateStoreView-创建数据集
my_storeview storeType string 是 数据集类型，支持两种类型，当创建时序库数据集时 storeType 指定为 metricstore，当创建日志库数据集时，storeType 指定为 logstore。logstore stores array 是 日志库或者时序库列表。StoreViewStore ...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
消费-搭建监控系统
日志服务是阿里云一个重要的基础设施，支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
管理Logstore
基本概念 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。日志服务提供标准型（Standard）和查询型（Query）两种类型的Logstore。重要 当计费模式为按...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
查询分析程序日志
运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如应用相关的日志在容器中、API相关日志在FunctionCompute中、旧系统日志在本地IDC中、移动端相关日志在用户处、网页端日志在浏览器中等。为了能够获得全量日志...
高级管理
说明 由于相同地域 PolarDB-X 1.0 数据库的SQL审计日志存储在同一Logstore中，如果修改了Logstore的审计日志存储时间，该修改会对该地域下所有 PolarDB-X 1.0 数据库生效。即仅支持修改同一地域所有数据库的日志保存时间，不支持修改某一...
迁移Elasticsearch查询方案到日志服务
日志服务提供Elasticsearch兼容接口，支持您将日志采集到日志服务后，仍可以沿用Elasticsearch的查询方案。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三...
监控分析平台对比
由于数据来源广、样式杂，需求多，运维和SRE团队往往需要使用和维护多套系统，才能满足多样的监控和业务需求，常见的开源组合如下：Telegraf+Influxdb+Grafana Telegraf是一个轻量级的采集框架，通过丰富的插件采集操作系统、数据库、...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
采集Systemd Journal日志
采集所有系统日志，用于长期存储，减少磁盘空间占用。采集软件（Unit）的输出日志，用于分析或告警。采集所有Journal日志，可以从所有日志中快速检索关键词或日志，相比Journalctl的查询效率大幅提升。操作步骤 登录 日志服务控制台。在 接...
应用场景
数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
管理日志投递任务
存储目标 包括源Project、源Logstore和目标数据库信息。消费进度 数据投递任务读取源Logstore日志数据的消费进度。统计报表 创建投递任务后，自动生成数据投递仪表盘，包括总览指标、每秒投递行数指标、消费延迟指标、消费速率指标、读写...
采集Windows事件日志
Logtail支持同时采集多个通道事件，例如同时采集应用程序和系统日志。查看通道信息 您可以在Windows服务器的 事件查看器 中查看通道信息。单击 开始。搜索并打开 事件查看器。在左侧导航栏中展开 Windows 日志。查看通道的全名。在 Windows...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
复制和分发数据
通过e_split函数将日志数据进行分裂。更多信息，请参见 e_split。通过e_output函数将日志分发到target-a和target-b。更多信息，请参见 e_output。e_drop()表示将不满足条件的日志丢弃，不进行分发。更多信息，请参见 e_drop。单击 预览数据...
管理审计日志
StarRocks将所有审计日志存储在本地文件 fe/log/fe.audit.log 中，并且这些日志无法通过系统内部数据库访问。启用审计日志功能将安装AuditLoader插件，该插件能够从本地文件中读取日志，并通过HTTP PUT方法将其导入StarRocks数据库，方便您...
使用Syslog协议上传日志
您可以使用Rsyslog采集系统日志，然后通过syslog协议上传到日志服务。不同版本的Rsyslog的配置文件略有不同，您可执行 man rsyslogd 命令查看Rsyslog版本。说明 请确保Rsyslog已安装了gnutls模块。如果未安装，请执行 sudo apt-get install...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
告警属性参考
日志库 区域 否 对日志库和时序库进行查询统计时，取值为目标Project所在地域。说明 对资源数据进行查询统计时，无该参数。cn-hangzhou 项目 否 对日志库和时序库进行查询统计时，取值为源数据所在Project。说明 对资源数据进行查询统计时...
API简介
日志库 Logstore 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。分区 Shard 日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定...
采集Python日志
背景信息 Python的logging模块提供通用的日志系统，可供第三方模块或者应用使用。logging模块定义了不同的日志级别和记录日志的方式。logging模块包括logger、handler、filter、formatter四个组件。采集Python日志，推荐您使用Log Handler...
查询和分析JSON日志的常见问题
日志样例 本文中介绍的各个案例是基于如下JSON格式的订单处理系统日志。request 字段为订单请求信息，JSON格式。一个请求中包含一个用户的多个订单，订单中包含购买的商品和支付总价。response 字段为订单处理结果。请求成功时，response ...
概览
{"Version":"1","Statement":[{"Action":["log:Post*","log:BatchPost*"],"Resource":["acs:log:*:*:project/<指定的project名称>/logstore/<指定的logstore名称>"],"Effect":"Allow"}]} 控制台查询指定日志库（Logstore）数据 给RAM用户...
管理Project
删除项目Project 警告 删除Project后，其管理的所有日志数据及配置信息都会被释放，不可恢复。在删除Project前请慎重确认，避免数据丢失。在Project列表中，单击目标Project对应的 删除。在 删除Project 面板中，输入Project名称和选择删除...
过滤VPC流日志公网流量
新的日志数据，只保留公网日志。您可以输入查询和分析语句，对公网流量的请求来源城市和目的地城市进行查询分析。例如：*|select ip_to_city(srcaddr)as sourceAddr,ip_to_city(dstaddr)as dstAddr,COUNT(*)as pv group by sourceAddr,...
使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
从SLS同步
例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议打开开关，如果关闭，遇到无法解析的脏数据，会导致投递任务失败。说明 具体的脏数据记录...
日志备份时报：The transaction log for database xx ...
RDS SQL Server数据库实例进行日志备份时，出现 The transaction log for database xx is full due to 'LOG_BACKUP' 事务日志已满的报错，您可以参照本文进行操作，解决报错问题。问题现象 RDS SQL Server数据库实例进行日志备份时，报 The...
开启或关闭日志服务
如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，您可以降配日志存储容量（包年包月实例）或直接关闭日志服务（按量付费实例）。本文介绍如何开启或关闭WAF日志服务...
- 产品推荐
- 这些文档可能帮助您