什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
创建数据表质量规则
异常数据归档表：如果您希望存储更多异常数据或将不同校验记录的异常数据放在一起便于后续的对比分析，建议自行指定归档表。使用指定归档表单次校验最多记录10000条数据，除了可以直接在校验记录页面快捷下载单次校验的异常数据，您也可以...
创建全域数据表质量规则
异常数据归档表：如果您希望存储更多异常数据或将不同校验记录的异常数据放在一起便于后续的对比分析，建议自行指定归档表。使用指定归档表单次校验最多记录10000条数据，除了可以直接在校验记录页面快捷下载单次校验的异常数据，您也可以...
创建数据表质量规则
异常数据归档表：如果您希望存储更多异常数据或将不同校验记录的异常数据放在一起便于后续的对比分析，建议自行指定归档表。使用指定归档表单次校验最多记录10000条数据，除了可以直接在校验记录页面快捷下载单次校验的异常数据，您也可以...
创建全域数据表质量规则
异常数据归档表：如果您希望存储更多异常数据或将不同校验记录的异常数据放在一起便于后续的对比分析，建议自行指定归档表。使用指定归档表单次校验最多记录10000条数据，除了可以直接在校验记录页面快捷下载单次校验的异常数据，您也可以...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
资产质量概述
质量校验过程中，发现质量异常，根据规则设置的强弱属性，判断是否需要熔断下游任务防止异常数据扩散。如果是强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游...
资产质量概述
质量校验过程中，发现质量异常，根据规则设置的强弱属性，判断是否需要熔断下游任务防止异常数据扩散。如果是强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
什么是数据校验
任务运行过程中如果有数据不一致的数据，DTS会在一定时间之后对异常数据再次校验，确保该异常不是增量延迟所导致。费用说明 详情请参见 数据校验计费方式。支持的地域 全域支持，且支持跨地域的链路。支持的地域，请参见 支持的地域列表。...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
AnalyticDB for PostgreSQL数据源
通常表主键较为均匀，切分出的分片不易出现数据热点，所以推荐splitPk用户使用表主键。目前 splitPk 仅支持整型数据切分，不支持字符串、浮点、日期等其他类型。如果您指定其他非支持类型，忽略splitPk功能，使用单通道进行同步。如果不...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
HybridDB for MySQL数据源
推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持字符串、浮点、日期等其他类型。如果您指定其他非支持类型，忽略splitPk功能，使用单通道...
AnalyticDB for MySQL 3.0数据源
推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持字符串、浮点和日期等其他类型。如果您指定其他非支持类型，忽略 splitPk 功能，使用单...
SQL Server数据源
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前splitPk仅支持整型数据切分，不支持字符串、浮点、日期等其他类型。如果您指定其他非支持类型，SQL Server Reader将报错。否 无 ...
离线同步日志分析
附录：关系型数据库切分键配置 推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。splitPk 仅支持切分整型数据，不支持切分字符串、浮点和日期等其他类型数据。如果配置 splitPk 切分...
PostgreSQL数据源
如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。splitPk 仅...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
应用场景
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
错误码
说明：当分库包含的数据节点出现访问异常，并且分库下没有其他可用数据节点时，PolarDB-X 会将分库置于fail-fast状态并提示PXC-4200错误。通常该错误是由于数据节点故障导致的。请根据包含的数据节点异常信息定位和解决问题。当故障数据...
常见错误处理方法
数据异常 数据异常通常表现为函数参数无效，数组下标错误，除零，数据格式无效，转移字符无效等，具体的错误内容均可通过 错误码 和 condition name 来判断。此类错误通常需要根据报错的具体内容，定位SQL的错误位置，修复SQL并重试。语法...
使用数据订阅SDK出现“client partition is empty,...
问题描述 数据订阅SDK...如果数据订阅已经正常启动，则需要排查是否有多个Client消费数据，如有多个，只有正在订阅数据的Client异常或是出现网络连接异常时后，Backup才可进行数据订阅，详情请参考 数据订阅SDK容灾。适用于 数据传输服务 DTS
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
DescribeEvents-查询异常事件列表
数据下载量异常 StartTime string 否 异常事件发生时间，即开始检测异常事件时间。格式：时间戳。单位：毫秒。1657900000 EndTime string 否 异常事件结束时间，即结束检测异常事件时间的。格式：时间戳。单位：毫秒。1698700000 PageSize ...
分区
为避免因数据类型转换导致的异常，建议在设计分区字段时使用STRING类型。MaxCompute 1.0数据类型版本支持的分区字段仅有STRING。虽然可以指定分区列的类型为BIGINT，但是除了表的字段显示为BIGINT类型，任何其他情况（例如，字段的计算和...
离群点剔除
在很多项目中，数据集中会出现一些异常值（离群点），为消除异常值对结果的影响，需要将异常值进行剔除。应用场景：如图1，在历史数据中，会时长出现一些明显异常的值，图中①、②、③处。这些明显区别于其他历史数据的数据点需要剔除。图 ...
消息模板
数据质量 数据质量 包括 字段规则异常、自定义规则异常、数据源规则异常、指标规则异常、表规则异常。数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
概述
因此，您可以将文本类型的数据转换为ORC格式或者PARQUET格式，通过DLA扫描转换格式后的数据，在提高数据扫描性能的同时也帮助您节省一定的数据扫描费用。大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
- 产品推荐
- 这些文档可能帮助您