离线同步日志分析
附录：关系型数据库切分键配置 推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。splitPk 仅支持切分整型数据，不支持切分字符串、浮点和日期等其他类型数据。如果配置 splitPk 切分...
会话管理
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的活跃会话、异常会话、会话访问来源和SQL语句等...
应用场景
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱...
发现和处理异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
数据订阅SDK容灾
为了简化用户使用SDK的复杂度，DTS实现了SDK容...当主SDK异常或是出现网络连接异常时，DTS会自动failover漂移到备SDK上，同时使用最后消费的时间点启动备SDK。主SDK每消费一条数据，会向DTS控制系统汇报一个ACK，即向控制系统汇报消费时间点。
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
PolarDB MySQL版CPU使用率高
另有一种情况是前端连接风暴导致集群流量瞬间堆积，此时流量属于异常流量，一般出现在流量数据被爬虫拉取数据的场景下。此时可以通过SQL限流的方式进行请求拒绝，具体操作请参见 会话管理。内核配置不合理 自建MySQL的参数是通用场景下的...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
时空数据库版本发布记录
SfMesh SQL 修复 ST_3DBuffer 函数缓冲区表面在linestring夹角太小的时候出现异常的问题。Trajectory SQL 修复轨迹多外包框索引不支持NULL和只有一个点的轨迹的问题。5.6 类别 说明 新增特性 新增 ST_AsMVT3D 和 ST_AsMVTGeom3D 函数支持...
时空数据库版本发布记录
SfMesh SQL 修复 ST_3DBuffer 函数缓冲区表面在linestring夹角太小的时候出现异常的问题。Trajectory SQL 修复轨迹多外包框索引不支持NULL和只有一个点的轨迹的问题。5.6 类别 说明 新增特性 新增 ST_AsMVT3D 和 ST_AsMVTGeom3D 函数支持...
业务切换流程
此步骤创建的反向迁移任务的作用是为业务提供回退方案，业务恢复运行后，一旦出现异常可将业务切换至原有的数据库中。例如原先是将自建MySQL迁移至RDS MySQL，反向数据迁移任务配置案例请参见 从RDS MySQL迁移至自建MySQL（仅选择 增量数据...
业务切换流程
此步骤创建的反向迁移任务的作用是为业务提供回退方案，业务恢复运行后，一旦出现异常可将业务切换至原有的数据库中。例如原先是将自建MySQL迁移至RDS MySQL，反向数据迁移任务配置案例请参见 从RDS MySQL迁移至自建MySQL（仅选择 增量数据...
Hive服务异常排查及处理
可继续对HiveMetaStore或者HiveServer2的日志进行排查，日志路径一般位于/mnt/disk1/log/hive/中，可逐步检查组件的.log、.err、.out 及GC等日志，判断HiveMetastore或者HiveServer2出现异常的真实原因。HiveMetaStore后端数据库问题 常见...
概览
实例消息堆积量 消息堆积量 Topic消息堆积量 高于上边界 连接数过高、连接数波动较大或连接数持续峰值 系统负载过高、TCP连接池不足、应用程序或服务出现异常、某些应用程序或服务在某些时候进行了大量的TCP连接操作。实例公网TCP连接的...
组件参考：所有组件汇总
异常检测 局部异常因子异常检测 该组件是根据数据样本的局部异常因子值（Local Outlier Factor,LOF）判断样本是否异常。IForest异常检测 该组件使用sub-sampling算法，降低了算法的计算复杂度，可以识别数据中的异常点，在异常检测领域有...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
SQL请求行为识别
SQL请求行为识别 是数据库自治服务DAS的一个功能，它可以帮助您在业务量多的情况下识别异常请求的SQL，提高问题定位的效率。本文将为您介绍 SQL请求行为识别 的使用场景及设置方法。前提条件 实例版本为：RDS MySQL 5.6、5.7、8.0 MyBase ...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
通过DTS实现数据库的垂直拆分
此步骤创建的反向迁移任务的作用是为业务提供回退方案，业务恢复运行后，一旦出现异常可将业务切换至原有的数据库中。警告 在配置反向数据迁移任务时，在设置迁移类型及列表环节仅需选择增量数据迁移，然后选择需要迁移回源数据库的库或表...
重启实例
当实例连接数满或出现访问异常时，您可以重启 云数据库 Redis 版。重启的影响与注意事项 重启可能发生 数据丢失。重启过程中实例会发生 秒级闪断，请判断业务影响后执行重启操作，重启前请做好业务安排并 确保应用有重连 机制。操作步骤 ...
CREATE MODEL
时序异常检测 TIME_SERIES_ANOMALY_DETECTION esd 达摩院自研算法，适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况，检测结果准确。详细信息，请参见 时序异常检测。nsigma 达摩院自研算法，原理...
模型创建
时序异常检测 esd 达摩院自研算法，适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况，检测结果准确。详细信息，请参见 时序异常检测。nsigma 达摩院自研算法，原理简单，便于分析异常原因。详细信息...
区域图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
产品优势
提升稳定性 DAS提供丰富的数据库性能监控和告警功能，可以快速发现和定位数据库异常，提升数据库的稳定性。运维和管理一站化，无需多平台间切换，显著减少误操作概率。持续可用 DAS基于机器学习和专家经验实现数据库自感知、自修复、自优化...
时序异常检测
esd：适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况比较适用。nsigma：原理简单，便于分析异常原因。ttest：用于识别一个时间窗口内时序指标是否存在因均值变化而发生的异常。istl-esd：适用于带...
DescribeEvents-查询异常事件列表
数据下载量异常 StartTime string 否 异常事件发生时间，即开始检测异常事件时间。格式：时间戳。单位：毫秒。1657900000 EndTime string 否 异常事件结束时间，即结束检测异常事件时间的。格式：时间戳。单位：毫秒。1698700000 PageSize ...
主备方案介绍
Q：目标实例出现异常无法写入时，LTS是否会缓存数据？A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，保证数据在目标实例恢复后继续同步数据，数据存储在源集群的Hlog中。Q：数据D1写入主实例，但数据D1尚未...
事件告警
数据库自治服务DAS（Database Autonomy Service）为RDS PostgreSQL提供事件 告警 功能，...开启事件告警功能后，如果检测到异常事件，DAS将会根据您设置的方式进行通知（例如手机短信），帮助您及时发现数据库异常变化。详情请参见 配置告警。
校验迁移后的Redis数据
使用场景 如果Redis迁移的过程出现异常，源端与目的端Redis的数据将会不一致。使用redis-full-check进行校验能够找出异常数据，为数据对齐提供可靠依据。redis-full-check是阿里云自研的Redis数据校验工具，能够提取源端和目的端的数据进行...
新建及管理动态脱敏规则
异常兼容：若出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持选择 返回空值、返回明文、抛出异常。无需配置加密密钥，将使用系统密钥进行加密，防止脱敏后的数据被反解密...
新建及管理动态脱敏规则
异常兼容：若出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持选择 返回空值、返回明文、抛出异常。无需配置加密密钥，将使用系统密钥进行加密，防止脱敏后的数据被反解密...
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
系统概述
本文介绍集群管理系统（Lindorm Insight）的结构与功能。通过集群管理系统，您可以查看集群的...流量诊断 异常流量检测 查看指定分组中所有表的流量检测结果、表的状态、表出现异常的原因、高流量表的请求量/请求数据量和响应请求的平均时间。
- 产品推荐
- 这些文档可能帮助您