批量创建质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。说明 仅支持Dataphin数据表和全域数据表配置异常归档。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档...
批量创建质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。说明 仅支持Dataphin数据表和全域数据表配置异常归档。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档...
查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
机器监控
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
Delta Lake概述
数据质量控制：借助于Delta Schema校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据演化：数据的Schema并非固定不变，Delta支持通过API 方式改变数据的Schema。实时机器学习：在机器学习场景中，通常需要花费大量的...
异常处理
默认情况下，SPL 程序中发生的任何错误都会中止该程序的执行。通过使用带有 EXCEPTION 部分的 BEGIN 块，您可以捕获错误并从中...此外，对于 Oracle 数据库，INVALID_NUMBER 异常只适用于 SQL 语句，而VALUE_ERROR 异常只适用于存储过程语句。
Iceberg概述
数据质量控制 借助于Iceberg Schema的校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据Schema变更 数据的Schema并非固定不变，Iceberg支持通过Spark SQL的DDL语句完成表结构变更。Iceberg在变更表结构的时候，历史...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
接入DAS的实例状态概览
您可以将阿里云数据库或自建数据库实例接入...监控异常 DAS数据库网关（DBGateway）出现异常，详情请参见 DBGateway常见问题。连接正常 目标实例已正确连接至DAS控制台，您可以使用集群管理、实例监控和告警服务等功能，详情请参见 产品功能。
接口详情
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
数据服务概述
同时，支持数据服务的运维监控和告警，便于开发运维人员根据异常数据或告警通知，及时发现并修正问题。数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该...
发现和处理异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
安全配置常见问题
命令开启数据保护，禁止用户导出数据，阻止出现数据泄露的情况。MaxCompute的数据是否可靠？MaxCompute采用三个副本存储模式，为数据的可靠性提供保障。您在使用MaxCompute期间，如果指定了表的生命周期，满足删除规则后，表会被MaxCompute...
敏感数据审计
数据管理DMS提供的敏感数据审计功能，记录了敏感数据在DMS中的使用情况，可以解决敏感数据异常使用和数据泄露的溯源问题。功能介绍 审计覆盖的功能模块：SQL窗口中的查询与变更、数据结果集导出、数据库导出和普通数据变更。功能入口：安全...
错误码
非法赋权 0L000 非法赋权（INVALID GRANTOR）0LP01 非法赋权操作（INVALID GRANT OPERATION）0P 类：非法角色声明 0P000 非法角色声明（INVALID ROLE SPECIFICATION）21 类：势违反 21000 势违反（CARDINALITY VIOLATION）22 类：数据异常 ...
功能特性
集群启停 重启集群 当云数据库 SelectDB 版集群出现异常情况，无法提供服务时，您可以重启该集群。重启集群 删除集群 当业务不再需要该集群时，您可以删除该集群。删除集群 监控告警 功能集 功能 功能描述 参考文档 监控告警 监控告警 云...
实例会话
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的会话信息，并提供会话运维操作，例如结束会话、10...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
会话管理
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的活跃会话、异常会话、会话访问来源和SQL语句等...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
创建全域数据表质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档当前监控字段，适用于通过单字段就可以完整确定异常...
创建全域数据表质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档当前监控字段，适用于通过单字段就可以完整确定异常...
创建数据表质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档当前监控字段，适用于通过单字段就可以完整确定异常...
创建数据表质量规则
异常归档 默认 关，开启 后可以归档异常数据到文件或归档表中，质量校验后可以下载、分析归档的异常数据。归档模式 支持 仅归档异常字段 和 归档完整记录。仅归档异常字段：只去重归档当前监控字段，适用于通过单字段就可以完整确定异常...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
资产质量概述
质量校验过程中，发现质量异常，根据规则设置的强弱属性，判断是否需要熔断下游任务防止异常数据扩散。如果是强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游...
资产质量概述
质量校验过程中，发现质量异常，根据规则设置的强弱属性，判断是否需要熔断下游任务防止异常数据扩散。如果是强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
离线同步日志分析
附录：关系型数据库切分键配置 推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。splitPk 仅支持切分整型数据，不支持切分字符串、浮点和日期等其他类型数据。如果配置 splitPk 切分...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
数据订阅SDK容灾
为了简化用户使用SDK的复杂度，DTS实现了SDK容...当主SDK异常或是出现网络连接异常时，DTS会自动failover漂移到备SDK上，同时使用最后消费的时间点启动备SDK。主SDK每消费一条数据，会向DTS控制系统汇报一个ACK，即向控制系统汇报消费时间点。
SmartData数据读取异常修复公告
缺陷级别：严重，建议修复，概率性发生时会出现数据正确性问题。缺陷发生现象：如果集群启用JindoFS Cache模式（即设置数据缓存参数 jfs.cache.data-cache.enable 为 true）或者使用了JindoFS Block模式（Block模式默认启用缓存），则数据...
- 产品推荐
- 这些文档可能帮助您