使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
采集MySQL查询结果
数据库表和日志样例 数据库表样例和Logtail采集到的日志样例如下所示。数据库表样例 CREATE TABLE `VersionOs`(`id` int(11)unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',`time` datetime NOT NULL,`version` varchar(10)NOT NULL ...
采集SQL Server查询结果
数据库表和日志样例 SQL Server数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例 IF NOT EXISTS(SELECT*FROM sys.databases WHERE name='LogtailTest')BEGIN CREATE DATABASE[LogtailTest]END GO USE[LogtailTest]GO IF NOT...
采集PostgreSQL查询结果
数据库表和日志样例 PostgreSQL数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例/创建表。CREATE TABLE IF NOT EXISTS specialalarmtest(id BIGSERIAL NOT NULL,time TIMESTAMP NOT NULL,alarmtype varchar(64)NOT NULL,ip ...
采集MySQL Binlog（计划弃用）
忽略的表 忽略的表名称（包括数据库名称，例如test_db.test_table），支持正则表达式。如果需要完全匹配，请加上前缀^，加上后缀$，例如^test_db\\.test_table$。如果某个表符合 忽略的表 中的任一条件，则该表中的数据不会被采集。首次...
RDS SQL Server如何收缩事务日志
SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：Msg 50000,Level 16,State 1,Procedure*,Line 46 Login User[Test11]can't change database[TestDb]...
产品架构
日志读取模块通过数据库协议连接并读取源实例的增量日志。如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后...
函数总览
e_tablestore_map 以阿里云表格存储（Tablestore）作为维表数据对原始日志进行富化。e_redis_map 以阿里云Redis作为维表数据对原始日志进行富化。e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。e_search_...
使用资源函数增量获取数据
目标Logstore：client-information RDS资源 数据库：client-db 数据库表：client 数据样例如下所示：数据库用户名和密码：test/test1234@数据库外网地址：rm-bp1k*tp8o.mysql.rds.aliyuncs.com 操作步骤 登录 日志服务控制台。进入数据加工...
导出实时日志（公测中）
支持导出以下日志表数据：uniform_behavior：行为日志表 uniform_behavior_auto：自动化日志表 monitor_performance：性能日志表 uniform_exception：异常日志表 gateway_invoke_detail：网关日志 说明 同一个数据源只能创建一个实时日志...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
实时计算（Blink）消费
阿里云实时计算通过创建日志服务源表的方式，可以直接消费日志服务中的数据。本文介绍了如何为实时计算创建日志服务源表以及创建过程涉及到的属性字段提取和类型映射。创建日志服务源表 日志服务是实时数据存储，实时计算能将其作为流式...
从RDS同步至MaxCompute
源库支持的实例类型 执行数据同步操作的MySQL数据库支持以下实例类型：ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 同一或不同阿里云账号下的RDS MySQL实例 本文以 RDS实例 为例介绍...
DNS
本文介绍内网DNS日志字段，包括全局日志和模块日志，模块日志比全局日志更为详细地记录DNS解析的过程。内网DNS日志 日志字段 说明 user_id 阿里云账号ID region_id 地域 vpc_id VPC实例ID src_addr 源IP地址 dst_addr 目的IP地址 src_port ...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
数据存储
其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把审计日志记录的简要明细信息进行多维的聚合后，生成实例的画像表信息，存储在画像表中。查询详情日志被分解为查询级别统计信息表、子任务级别统计...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
日志主题（Topic）
例如系统A由前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块组成，您可设置前端HTTP请求处理模块日志的Topic为http_module，缓存模块日志的Topic为cache_module、逻辑处理模块日志的Topic为logic_module和存储模块日志的Topic为...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
Binlog日志服务
通过实例内 PolarDB-X 的CDC组件，能够提供与MySQL binlog格式兼容的变更日志，并且对外隐藏了实例扩缩容、分布式事务、全局索引等分布式特性，让您获得与单机MySQL数据库一致的使用体验。PolarDB-X 提供了两种形态的binlog日志消费订阅...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
查询分析程序日志
您可以在各模块日志中输出Request_id、OrderId等可以关联的标识字段，通过在不同的日志库中查找，获取所有相关日志。例如通过SDK查询前端机、后端机、支付系统、订单系统等日志。获得结果后，制作一个前端页面将跨进程分析关联起来，如下图...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
从Hologres数据库获取数据进行富化
本文介绍如何通过资源函数从Hologres数据库获取数据进行数据富化。前提条件 已获取连接Hologres数据库的访问地址、用户名、密码、数据库名和数据库表等。Hologres数据库实例与日志服务Project处于同一地域。背景信息 某电商平台将所有物品...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
日志备份时报：The transaction log for database xx ...
RDS SQL Server数据库实例进行日志备份时，出现 The transaction log for database xx is full due to 'LOG_BACKUP' 事务日志已满的报错，您可以参照本文进行操作，解决报错问题。问题现象 RDS SQL Server数据库实例进行日志备份时，报 The...
关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
内网DNS解析日志转存SLS
重要 您只能在SLS配置对已经开启了流量分析的Region、VPC做转存，开启日志转存服务默认开启流量分析服务，如果关闭流量分析服务，会导致日志转存服务没有日志数据。具体请参考 开启流量分析。应用场景 出于合规和安全性的考虑，公司通常...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
日志字段详情
本文介绍RDS相关日志的字段详情。审计日志 字段名称 说明_topic_日志主题，固定为rds_audit_log。instance_id RDS实例ID。check_rows 扫描的行数。db 数据库名。...db_version 数据库版本 content 日志内容 eventType 事件类型
库表恢复：按时间点恢复
在知晓误操作发生的时间点后，可以通过此方式，将误操作的数据库或者表恢复到误操作发生之前。前提条件 已存在备份集。因为按时间点恢复是先将所选时间点前的一个全量数据备份恢复到集群，然后根据Redo日志恢复增量数据到所选时间点。若您...
日志采集支持纳秒精度时间戳
本文主要说明在使用Logtail进行日志采集时，如何有效地提取和处理具有纳秒精度的时间戳信息，确保对原始日志中的高精度时间数据进行准确捕获。应用场景 某些业务场景下对时间精度要求较高（例如不同子模块日志保序要求），依赖毫秒甚至更高...
通用数据结构
取值包括：consumergroup_log：消费组延迟日志 logtail_alarm：Logtail告警日志 operation_log：操作日志（此项服务收费）logtail_profile：Logtail采集日志 metering：计量日志 logtail_status：Logtail状态日志 scheduledsqlalert：定时...
使用前须知
阿里云日志服务联合数据库MongoDB推出日志审计功能，将日志服务的部分功能融合到自身的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍MongoDB日志相关的资源说明、应用场景、费用说明及使用限制。资源...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
检查和修改 Oracle 实例的系统配置 您需要进行下述操作：在源端 Oracle 数据库开启归档模式 在源端 Oracle 数据库开启补偿日志（可选）设置 Oracle 数据库的系统参数 在源端 Oracle 数据库开启归档模式 SELECT log_mode FROM v$database;...
将日志服务数据投递到AnalyticDB MySQL
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
- 产品推荐
- 这些文档可能帮助您