配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
RDS MySQL同步至AnalyticDB MySQL 3.0
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，请参见 什么...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，...
RDS MySQL迁移至PolarDB MySQL版
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建MySQL迁移至PolarDB MySQL版
通过数据传输服务DTS（Data Transmission Service），可以帮助您将自建MySQL数据库迁移至 PolarDB MySQL版 集群。支持的源数据库 MySQL与 PolarDB MySQL版 集群间的迁移，支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍...
RDS MySQL迁移至AnalyticDB MySQL 3.0
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS迁移任务。更多信息，...
自建MySQL迁移至RDS MySQL
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS迁移任务。更多信息，...
从自建MySQL迁移至RDS MySQL实例
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
RDS MySQL实例间的迁移
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
2020年
从RDS PPAS迁移至PolarDB O引擎集群 2020年7月 发布SQL Server数据库多库增量迁移功能，可在一个数据迁移任务中增量迁移多个数据库，极大提升了提升迁移效率。从自建SQL Server增量迁移至RDS SQL Server 发布Kafka多Partition（分区）的...
将云消息队列 Kafka 版的数据迁移至MaxCompute
在数加（一站式大数据平台）中，DataWorks控制台即为MaxCompute控制台。MaxCompute和DataWorks一起向用户提供完善的数据处理和数仓管理能力，以及SQL、MR、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效...
方案概述
DTS的校验对象为数据内容，暂不支持Sequence等元数据的校验，您需要自行校验。由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
配置DTS迁移、同步或校验任务
您可以在控制台的 高级配置 阶段，将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数，查看该实例使用API接口配置时的参数信息。专属集群的任务仅支持先配置后购买，且不支持跨地域的任务。调试 您可以在...
数据传输的审计事件
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，数据传输支持在操作审计中查询的事件如下表所示。事件名称 事件含义 AddTags 为实例添加标签。CheckDefaultRole 检查是否有配置角色AliyunDTSDefaultRole。...
Hologres外部表
当您需要访问存储在Hologres中的数据时，MaxCompute支持使用外部表访问Hologres数据源数据，无需导入数据至MaxCompute中，实现快速查询Hologres数据。本文为您介绍如何在外部表建表语句中指定Hologres数据源、STS认证信息或打开双签名开关...
查询全量或增量校验任务详情
TotalCount Long 8 校验数据的总行数。FinishCount Long 7 表中已完成校验的数据行数。DiffCount Long 1 数据不一致的行数。BootTime String 2023-01-18 11:26:59 进行校验的时间。ErrorCode Integer 1 任务运行出错时，返回报错信息的错误...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
查询校验报告的下载地址
以不一致数据为维度的列表数据的下载连接 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
配置数据校验
按抽样比例进行HASH校验 的全量校验模式按实际校验数据量收费。全量校验时间规则 当前仅支持 立即开始。全量校验超时设置 不设置：全量校验任务超时不会强制结束。设置：设置全量校验任务结束的延迟时间。在全量校验任务启动后开始计时，若...
RDS 同步到云搜
此时，您可以前往 任务详情页 或 目的端数据源控制台 校验数据更新。任务详情页 在 数据同步任务 页面，单击任务卡片中的任务名称，进入任务详情页，即可查看以下信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
功能特性
结构初始化涉及的数据类型映射关系 异构数据库间的数据类型映射关系 数据校验 数据校验是DTS提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题 功能集 功能 ...
云端运行日志
日志转储到日志服务中后，各业务类型对应的英文字段如下：OTA升级：OTA 数据解析：ScriptParsing 物模型（物模型数据校验、物模型服务调用、物模型消息）：ThingModel 时序数据存储：HotDataStorage 远程配置：RemoteConfig 拓扑关系：...
查看数据校验详情
总记录数 是校验数据的估算值，校验完成记录数 是已完成校验数据的值，因此 校验完成记录数 可能会高于 总记录数。若 不一致记录量 的值为 0，则表示源实例与目标实例的数据一致。此时，您无需查看或下载校验报告（校验报告无数据）。若 不...
DataCheckConfigure参数说明
说明 您可以在控制台的 高级配置 阶段，将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数，查看该实例使用API接口配置时的参数信息。参数 类型 说明 dataCheckDbList String 数据校验对象，为JSON格式。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
计费方式
若您配置的包年包月同步实例中包含数据校验任务，会产生相应的费用，详情请参见 数据校验计费方式。适合长期需求，价格比按量付费更实惠，且购买时长越长，优惠越多。包年包月实例支持 非全额退订，详情请参见 释放实例。新版控制台计费...
设备端接收的错误码
在物联网平台控制台的 日志服务 中，或设备本地日志中，检查设备上报的数据中是否有 method 参数。6760 系统异常。提交工单。表 2.数据解析公共错误码 错误码 原因 排查 26001 执行数据解析时，获取的脚本内容为空。在物联网平台控制台，...
主备方案介绍
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
创建产品
弱校验：仅校验设备上报数据中的identifier和dataType字段，不校验其他字段，流转全量数据。校验通过的数据展示在 物联网平台控制台 对应设备的 设备详情 页 物模型数据 页签。校验不通过的数据则不展示。通过流转数据中的参数 ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
OpenEvent概述
数据质量 数据质量校验结果反馈事件 描述：在数据治理模块中，启用了数据质量监控规则后，发送监控规则的校验结果。类型：属于 普通事件，您可以订阅此类事件消息，获知事件状态的实时变化情况。例如，在数据治理的数据质量模块，给某个表...
- 产品推荐
- 这些文档可能帮助您