云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
从ECS上的自建Redis同步至云数据库Redis实例
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 监控报警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和 告警联系人。更多...
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解...步骤七：运维补数据 验证数据 您可以通过即席查询来验证数据的正确性。步骤八：验证数据
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解...步骤七：运维补数据 验证数据 您可以通过即席查询来验证数据的正确性。步骤八：验证数据
查询校验报告的下载地址
以不一致数据为维度的列表数据的下载连接 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
使用DTS迁移Redis
若您希望迁移部署在本地、ECS或其他云上的Redis数据库至 云数据库 Redis 版，且不影响业务正常运行，您可以使用数据传输服务DTS。DTS可以在不中断数据库服务的同时，将数据全量或者增量迁移至 云数据库 Redis 版。该方案相比使用AOF方式...
我是安全管理员
支持安全管理员用户的功能总览 类目 功能 说明 SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨...
元数据访问控制
查看该库所在的实例信息，但不能看到该实例下的其他数据库，能否查看到其他数据库取决于是否拥有其他数据库的权限。您可以从以下3种形式控制元数据访问权限：用户访问控制：指定目标用户仅允许查看与访问已被授权数据库。数据库访问控制：...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请...A：通过数据校验确认源和目标库的差异数据，进行手动订正。
测试数据构建
工单参数信息中的 冲突处理 模式说明如下：遇到数据冲突则跳过：遇到主键、唯一键的数据写入冲突则跳过冲突记录，继续写入其他数据。遇到数据冲突则替换：遇到主键、唯一键的数据写入冲突则更新原记录的数据并继续写入其他数据。参数配置...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请...A：通过数据校验确认源和目标库的差异数据，进行手动订正。
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
我是DBA
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
Hadoop集群迁移至DataLake集群
详细数据校验 针对每行数据的详尽核查，以保证所有数据项在迁移后与源集群完全一致，这种校验方式能更深入地检测数据的完整性和准确性。作业迁移 为了确保旧集群的作业能在新集群上顺利调度执行，针对不同的调度系统和环境，我们需要采取...
配置规则：按模板（批量）
您可以单击 推荐关联调度 或 手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便会触发该数据质量规则校验，...
我是管理员
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
OpenEvent概述
数据质量校验完成事件 描述：在数据治理模块中，触发某个数据质量校验规则之后，发送校验完成后的状态。类型：属于 普通事件，您可以订阅此类事件消息，获知事件状态的实时变化情况。例如，在数据治理的数据质量模块，给某个表启用了表行数...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验任务。说明 如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持...
PolarDB PostgreSQL版间的迁移
其他限制 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量数据迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败的任务。因此业务切换至目标实例前，请务必结束或...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
我是普通用户
SQLConsole SQL窗口 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。库表结构 结构设计 ...
三节点企业版的RDS MySQL迁移到PolarDB-X 2.0标准版
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 设置告警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和告警联系人。源表DMS_...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
云数据库Redis间的迁移
本文以云数据库Redis实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。实例地区 选择源云数据库Redis数据库所属地域。是否跨阿里云账号 选择 不跨账号。实例ID 选择源云数据库Redis实例ID。数据库密码 填入源云数据库...
技术原理
数据校验 增量达到准实时同步后，系统自动做全数据校验，并且订正因为同步延迟造成的不一致数据。应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但...
Db2 for LUW迁移至RDS MySQL
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS MySQL迁移至RDS PostgreSQL
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
Db2 for LUW同步至RDS MySQL
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
Db2 for LUW同步至PolarDB MySQL版
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 设置告警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警...
RDS MySQL同步至自建Oracle
本文以RDS MySQL实例为源数据库，ECS上自建Oracle实例为目标数据库为例介绍配置流程，其他数据源配置流程与本案例类似。源数据库 目标数据库 RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库...
Db2 for LUW迁移至PolarDB MySQL版
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS专属集群。...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
PolarDB MySQL版迁移至自建Oracle
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据迁移至自建Oracle。前提条件 已创建存储空间大于源 PolarDB MySQL版 集群已占用存储空间的自建Oracle数据库。若自建Oracle为RAC结构，需通过...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
从自建Redis迁移至Tair实例
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和 告警联系人。更多...
云数据库Redis间的单向同步
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 设置告警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和 告警联系人。更多...
MyBase MySQL迁移至RDS MySQL
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 设置告警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和告警联系...
- 产品推荐
- 这些文档可能帮助您