但是在数据集‘加速配置’查看日志显示的数据量与...
问题描述 Quick BI数据库表已经新增数据，但在数据集‘加速配置’查看日志显示的数据量与数据库表数据量不一致。问题原因 这是为了抽取的性能，只会增量更新最新的数据，因为旧分区的数据一般不会变的。解决方案 如果需要查询全部分区的...
Dataphin输出数据源为MySQL，为什么管道任务日志中...
详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 count(1)条数是什么原因？原因如下：输出数据源为MySQL，上游数据源中数据和下游存在主键一致的情况。若...
使用前须知
资产说明 通用数据库审计应用资产都在您选择的Project下，详细说明如下：Logstore 创建采集任务后，自动生成一个名为general-db-logstore的Logstore，用于存储数据库日志。该Logstore已配置索引。Logtail配置 创建采集任务后，自动生成一个...
SQL命令管理数据库
您可以执行以下命令，查询SQL Server实例的所有数据库的数据文件和日志文件的路径信息：SELECT db_name(database_id),physical_name FROM sys.master_files;删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除...
采集MySQL查询结果
数据库表和日志样例 数据库表样例和Logtail采集到的日志样例如下所示。数据库表样例 CREATE TABLE `VersionOs`(`id` int(11)unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',`time` datetime NOT NULL,`version` varchar(10)NOT NULL ...
采集SQL Server查询结果
数据库表和日志样例 SQL Server数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例 IF NOT EXISTS(SELECT*FROM sys.databases WHERE name='LogtailTest')BEGIN CREATE DATABASE[LogtailTest]END GO USE[LogtailTest]GO IF NOT...
采集PostgreSQL查询结果
数据库表和日志样例 PostgreSQL数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例/创建表。CREATE TABLE IF NOT EXISTS specialalarmtest(id BIGSERIAL NOT NULL,time TIMESTAMP NOT NULL,alarmtype varchar(64)NOT NULL,ip ...
采集MySQL Binlog（计划弃用）
忽略的表 忽略的表名称（包括数据库名称，例如test_db.test_table），支持正则表达式。如果需要完全匹配，请加上前缀^，加上后缀$，例如^test_db\\.test_table$。如果某个表符合 忽略的表 中的任一条件，则该表中的数据不会被采集。首次...
配置通用数据库审计
您可以在数据库服务器或应用服务器上安装Logtail和抓包工具，采集数据库的所有活动记录，实现数据库审计。本文介绍配置通用数据库审计的操作步骤。前提条件 已有可用的数据库。已创建Project。具体操作，请参见 创建Project。操作步骤 登录...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
CreateStoreView-创建数据集
my_storeview storeType string 是 数据集类型，支持两种类型，当创建时序库数据集时 storeType 指定为 metricstore，当创建日志库数据集时，storeType 指定为 logstore。logstore stores array 是 日志库或者时序库列表。StoreViewStore ...
函数总览
e_tablestore_map 以阿里云表格存储（Tablestore）作为维表数据对原始日志进行富化。e_redis_map 以阿里云Redis作为维表数据对原始日志进行富化。e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。e_search_...
新功能发布记录
2022-09-14 全部地域 过滤日志 2022年8月 功能名称 功能描述 发布时间 支持地域 相关文档 导入MySQL Binlog 您可以将自建MySQL数据库或RDS MySQL数据库中的Binlog导入到 日志服务，实现数据的查询分析、加工等操作。2022-08-23 部分地域 ...
使用资源函数增量获取数据
目标Logstore：client-information RDS资源 数据库：client-db 数据库表：client 数据样例如下所示：数据库用户名和密码：test/test1234@数据库外网地址：rm-bp1k*tp8o.mysql.rds.aliyuncs.com 操作步骤 登录 日志服务控制台。进入数据加工...
RDS SQL Server如何收缩事务日志
SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：Msg 50000,Level 16,State 1,Procedure*,Line 46 Login User[Test11]can't change database[TestDb]...
实时计算（Blink）消费
阿里云实时计算通过创建日志服务源表的方式，可以直接消费日志服务中的数据。本文介绍了如何为实时计算创建日志服务源表以及创建过程涉及到的属性字段提取和类型映射。创建日志服务源表 日志服务是实时数据存储，实时计算能将其作为流式...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
使用前须知
阿里云日志服务联合数据库MongoDB推出日志审计功能，将日志服务的部分功能融合到自身的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍MongoDB日志相关的资源说明、应用场景、费用说明及使用限制。资源...
高级管理
说明 由于相同地域 PolarDB-X 1.0 数据库的SQL审计日志存储在同一Logstore中，如果修改了Logstore的审计日志存储时间，该修改会对该地域下所有 PolarDB-X 1.0 数据库生效。即仅支持修改同一地域所有数据库的日志保存时间，不支持修改某一...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
数据存储
其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把审计日志记录的简要明细信息进行多维的聚合后，生成实例的画像表信息，存储在画像表中。查询详情日志被分解为查询级别统计信息表、子任务级别统计...
Binlog日志服务
通过实例内 PolarDB-X 的CDC组件，能够提供与MySQL binlog格式兼容的变更日志，并且对外隐藏了实例扩缩容、分布式事务、全局索引等分布式特性，让您获得与单机MySQL数据库一致的使用体验。PolarDB-X 提供了两种形态的binlog日志消费订阅...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
管理日志投递任务
存储目标 包括源Project、源Logstore和目标数据库信息。消费进度 数据投递任务读取源Logstore日志数据的消费进度。统计报表 创建投递任务后，自动生成数据投递仪表盘，包括总览指标、每秒投递行数指标、消费延迟指标、消费速率指标、读写...
告警属性参考
日志库 区域 否 对日志库和时序库进行查询统计时，取值为目标Project所在地域。说明 对资源数据进行查询统计时，无该参数。cn-hangzhou 项目 否 对日志库和时序库进行查询统计时，取值为源数据所在Project。说明 对资源数据进行查询统计时...
消费-通过消费组实现高可靠消费
在计算机世界中，常用的日志有：Metric、Binlog（Database、NoSQL）、Event、Auditing、Access Log等。在该文档的示例中，我们把用户到银行的一次操作作为一条日志数据。其中包括用户、账号名、操作时间、操作类型、操作金额等。例如：2016...
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
- 产品推荐
- 这些文档可能帮助您