查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
查看异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：异常地理位置下载敏感数据。行为异常：非正常的数据操作行为。例如：登录密码连续错误、登录使用终端异常等。自定义异常：根据您自定义的检测模型...
Delta Lake概述
数据质量控制：借助于Delta Schema校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据演化：数据的Schema并非固定不变，Delta支持通过API 方式改变数据的Schema。实时机器学习：在机器学习场景中，通常需要花费大量的...
异常处理
默认情况下，SPL 程序中发生的任何错误都会中止该程序的执行。通过使用带有 EXCEPTION 部分的 BEGIN 块，您可以捕获错误并从中...此外，对于 Oracle 数据库，INVALID_NUMBER 异常只适用于 SQL 语句，而VALUE_ERROR 异常只适用于存储过程语句。
Iceberg概述
数据质量控制 借助于Iceberg Schema的校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据Schema变更 数据的Schema并非固定不变，Iceberg支持通过Spark SQL的DDL语句完成表结构变更。Iceberg在变更表结构的时候，历史...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
接入DAS的实例状态概览
您可以将阿里云数据库或自建数据库实例接入...监控异常 DAS数据库网关（DBGateway）出现异常，详情请参见 DBGateway常见问题。连接正常 目标实例已正确连接至DAS控制台，您可以使用集群管理、实例监控和告警服务等功能，详情请参见 产品功能。
数据服务概述
同时，支持数据服务的运维监控和告警，便于开发运维人员根据异常数据或告警通知，及时发现并修正问题。数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该...
DescribeDBClusterSpaceSummary-查看集群的空间概览
查看实例的空间概览信息，包括总数据量、热数据量、冷数据量、数据增长量等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...
DescribeDBClusterSpaceSummary-查看集群的空间概览
查看实例的空间概览信息，包括总数据量、热数据量、冷数据量、数据增长量等。接口说明 当前服务的接入地址请参见 ...
DTS_BINLOG_PARSER
UPDATE和INIT|recordTimestamp timestamp,-记录的时间戳|extraTags string,-记录的属性信息，例如pk，uk等|fields string,-数据表的schema信息|beforeImages string,-本记录生成前的记录数据|afterImages string-本记录生成后的记录数据 ...
错误码
非法赋权 0L000 非法赋权（INVALID GRANTOR）0LP01 非法赋权操作（INVALID GRANT OPERATION）0P 类：非法角色声明 0P000 非法角色声明（INVALID ROLE SPECIFICATION）21 类：势违反 21000 势违反（CARDINALITY VIOLATION）22 类：数据异常 ...
功能特性
集群启停 重启集群 当云数据库 SelectDB 版集群出现异常情况，无法提供服务时，您可以重启该集群。重启集群 删除集群 当业务不再需要该集群时，您可以删除该集群。删除集群 监控告警 功能集 功能 功能描述 参考文档 监控告警 监控告警 云...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
同步时源库为PolarDB MySQL版的注意事项及限制
由于 云原生数据仓库AnalyticDB MySQL（3.0）本身的使用限制，当 云原生数据仓库AnalyticDB MySQL（3.0）集群中的节点磁盘空间使用量超过80%，会导致DTS任务异常，产生延迟。请提前根据待同步的对象预估所需空间，确保目标集群具备充足的...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
通过Logstash导入数仓版
更多参数配置：max_flush_exceptions：当写入数据出现异常时，设置最大重试次数，默认值100。skip_exception：设置是否跳过异常，默认为FALSE，表示出现异常时将重试直到到达最大重试次数 max_flush_exceptions，如果仍然失败，则同步程序...
快速体验
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
基于Client SDK数据写入
说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的时候需要单独处理此错误码的异常 COMMIT_ERROR_OTHER 102 commit中的其他异常。ADD_DATA_ERROR 103 add...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
数据组织优化
解决方案 Clustering服务主要由MaxCompute内部的Storage Service来负责执行，专门解决小文件合并的问题，但它并不会改变任何数据的历史中间状态，即不会消除任何一条记录数据的中间历史状态。Clustering服务流程 Clustering服务的整体操作...
离线同步日志分析
附录：关系型数据库切分键配置 推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。splitPk 仅支持切分整型数据，不支持切分字符串、浮点和日期等其他类型数据。如果配置 splitPk 切分...
质量规则参数配置
跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照...
质量规则参数配置
跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照...
通过脚本模式配置离线同步任务
说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前splitPk仅支持整型数据切分，不支持字符串、浮点和日期等其他类型。如果您指定其他非支持类型，将会忽略splitPk功能，使用单...
PolarDB MySQL版同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。其他注意事项 DTS会在源库定时执 CREATE DATABASE IF NOT EXISTS `test` 命令以推进Binlog位点。费用说明 同步类型 链路配置...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
发现和处理异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
COMMIT_ERROR_DATA_LIST 101 提交中某些数据出现异常，会返回异常的数据，通过 e.getErrData()即可获得异常数据List。此错误码在 addMap(s)、addRow(s)和提交操作的时候都可能会发生，需要单独处理此错误码的异常。COMMIT_ERROR_OTHER 102 ...
Tablestore Stream数据源
Tablestore会根据每种操作生成对应的增量数据记录，Reader插件会读出这些记录，并导出为数据集成的数据格式。同时，由于Tablestore具有动态列、多版本的特性，所以Reader插件导出的一行不对应Tablestore中的一行，而是对应Tablestore中的一...
查看告警信息
发现异常数据：当该指标监控过程中发现异常数据时，卡片左上角会出现 告警字样，当您鼠标 hover 在字样上方时可以 查看异常详情提示。指标告警详情：您可以直接单击 指标名称 或则单击卡片右下方 指标详情 按钮，右侧将弹窗展示指标告警...
监控告警
ms 导入数据速度 集群每秒导入的数据记录条数。Row/s 数据合并 Compaction Score 数据文件的合并压力，Score越大，进行合并计算的压力越大。无 连接数 显示当前实例的会话数，不区分集群。个 失效节点数 显示当前集群失效节点的个数。个 ...
离线核对
步骤三：新建核对点 核对点用做进行资金业务表或表与表之间的核对检查，找到异常数据。在左侧导航栏上，单击 核对点列表。单击 新建核对点，进入 新建核对点 页面。在 新建核对点 页面中，填写以下信息。基本信息：核对点名称：核对点的...
同步日志
初始化 一般在执行的时候出现异常，导致同步未执行。出现该状态时，可以重新触发同步任务。属于罕见异常。日志详情 管理员可以查看每条同步数据的状态和详情，并进行检索。若同步请求失败，可以查看失败原因。原因订正后，您可以通过两种...
Oracle同步至Tablestore
Failover：在任务出现异常、内存不足等问题时，会触发Failover自动重启任务，您可以查看任务的Failover历史记录。运行信息：查看当前任务的同步信息。DDL记录：当源端发生DDL时，DDL会被记录到此处。任务重跑 直接重跑：不修改任务配置，...
- 产品推荐
- 这些文档可能帮助您