集群自定义监控报表
request_queue_time SQL 在等待队列中等待耗时 集群数据库 trans_commit_log_count 每秒提交的事务日志数 集群数据库 clog_trans_log_total_size 每秒提交的事务日志大小 集群数据库 io_count SSStore 每秒IO次数 集群数据库 io_read_count...
开启或关闭增量日志备份
增量备份通过记录数据库事务日志，准确追踪数据库的变化操作，如插入、更新和删除。开启增量日志备份后，支持恢复到自备份后的任意时间点，增量备份的数据生命周期信息与全量备份一致。本文介绍开启或关闭增量日志备份的方法。前提条件 ...
数据库高级特性管理
收缩数据库事务日志 使用场景 如果数据库的事务日志文件使用量（LogUsedSizeInMB）相对于数据库事务日志文件总大小（TotalLogSizeInMB）的占比较小，并且该数据库的log_reuse_wait_desc属性为Nothing时，您可以通过收缩数据库事务日志减少...
集群数据库监控详情
每秒提交的事务日志数 trans_commit_log_count 租户数据库每秒提交的事务日志数量，单位：times/s。每秒提交的事务日志大小 clog_trans_log_total_size 租户数据库每秒提交的事务日志大小，单位：MB。平均每秒 IO 次数 io_count SSStore 每...
事务监控详情
监控指标项 监控指标名 指标说明 TPS transaction_commit_count transaction_count transaction_rollback_count transaction_timeout_count 租户数据库每秒不同类型事务的提交数量，单位：times/s。服务端每个事务平均处理时间 transaction...
使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
开启简单恢复模式
简单恢复模式与完整恢复模式的区别 恢复模式是一种数据库属性，决定了事务日志的记录方式、备份方式和可用的还原操作类型。RDS SQL Server当前支持的两种恢复模式的区别如下：对比项 完整恢复模式 简单恢复模式 恢复原理 在完整恢复模式下...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
get_log_all
调用CLI命令查询日志。该命令适用于获取大量日志数据的场景。请求语法 aliyunlog log get_log_all-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-access-id=][-access-key=][-sts...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
管理日志
除本文所述的错误日志和主备切换日志外，SQL Server事务日志相关文档，请参见 收缩RDS SQL Server事务日志、PurgeDBInstanceLog-清理或收缩RDS实例日志。如需了解日志备份数据的生成和下载方法，请参见 备份SQL Server数据 和 下载数据备份...
AT 模式接入注意事项
确保 GTS 事务管理范围内的所有数据不会被 GTS 管理范围外的系统修改 GTS 的全局数据库写锁仅针对加入了 GTS 事务的数据库操作，如果一个对数据库的写操作不在 GTS 事务管理的范围内，会造成“脏写”。例如，一个写操作在 GTS 事务中对一条...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
如何解决查询分析与流处理两种场景下的数据口径差异
如果这个时间戳和应用程序日志时间的定义不一样（例如，事务日志是在事件发生之后基于数据库记录创建的，但业务需要定义数据中的create_time字段为日志时间），Logtail支持设置时区偏移，或者通过插件配置将日志行中的时间字段（业务时间）...
开通日志功能
配置日志功能 使用函数计算控制台配置日志 前提条件 函数计算 创建服务 可选：日志服务SLS 创建日志项目和日志库 操作步骤 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，选择地域，然后在 服务列表 页面，单击目标...
查询分析程序日志
数据量大：程序日志一般比访问日志大1个数量级。分布的服务器多：大部分应用为无状态模式，运行在不同框架中，例如云服务器、容器服务等，对应的实例数从几个到数千个，需要有一种跨服务器的日志采集方案。运行环境复杂：程序运行在不同的...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
成本优化指南
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
上下文查询
开发人员无需登录服务器，在大量日志中通过关键字检索日志，日志服务支持通过控制台查看指定日志在原始文件中的上下文信息。前提条件 已通过Logtail采集到日志。具体操作，请参见 通过Logtail采集日志。重要 如果您使用了Logtail插件处理...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
RDS SQL Server空间不足问题
RDS SQL Server实例的空间使用率是日常需要重点关注的监控项之一，实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍如何查看空间使用情况以及排查空间问题。查看空间使用...
日志备份时报：The transaction log for database xx ...
RDS SQL Server数据库实例进行日志备份时，出现 The transaction log for database xx is full due to 'LOG_BACKUP' 事务日志已满的报错，您可以参照本文进行操作，解决报错问题。问题现象 RDS SQL Server数据库实例进行日志备份时，报 The...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
开通日志功能
本文介绍如何在风险识别控制台上开通日志管理功能，将风险识别日志推送到日志服务中。前提条件 已购买高级版风险识别服务。具体操作，请参见 购买风险识别服务。已开通日志服务。操作步骤 重要 如果您使用RAM用户开通日志功能，则需先为RAM...
日志字段详情
本文介绍RDS相关日志的字段详情。审计日志 字段名称 说明_topic_日志主题，固定为rds_audit_log。instance_id RDS实例ID。check_rows 扫描的行数。db 数据库名。...db_version 数据库版本 content 日志内容 eventType 事件类型
Logtail采集日志失败的排查思路
使用Logtail采集日志后，如果预览页面为空或查询页面无数据，您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会...
开启日志投递
使用限制 本文操作仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez...
CLI概述
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。主要功能 日志服务命令行工具CLI的主要功能包括：支持大部分的日志服务REST接口。例如管理Project、Logstore、机器组、消费组和Logtail...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。OpenAPI目前仅支持Go、Java、TypeScript、Python四种语言。日志服务SDK目前仅支持Go、Java两种语言。更多相关说明请参见 ...
使用问题
GTS 的事务日志名称为 txcXXXX.log，其中 XXXX 为 GTS 客户端进程的进程号，其路径为${user.home}/logs/txcXXXX.log，其中${user.home} 为启动 GTS 客户端的用户账户的根目录。查看日志时，可以按照 GTS 的全局事务 ID 去查看这个事务在该...
常见问题及错误排查
审计资源 修改存储时间时，系统提示 该日志库是SLS应用日志审计专属库，对其属性修改如调整存储时间，请到 日志审计全局配置界面。无 请在日志审计服务的 全局配置 页面，修改日志存储天数、热存储天数等。删除Logstore时，系统提示 指定...
- 产品推荐
- 这些文档可能帮助您