问题描述 阿里云数据传输服务DTS在进行数据迁移过程中,检查目的数据库的账号权限是否满足迁移要求时,“目的库权限检查”检查项预检查失败。问题原因 目标数据库的账号没有足够的权限进行数据迁移任务。解决方案 为保障数据迁移任务的顺利...
问题描述 阿里云数据传输服务DTS在进行数据迁移过程中,“源库权限检查”检查项预检查失败。问题原因 源数据库的数据库账号没有足够的权限进行数据迁移任务。解决方案 为保障数据迁移任务的顺利执行,DTS在预检查阶段会对数据迁移任务中...
当数据需要通过专线或VPN迁移上云、自建存储迁移上云时,您可以在Linux(内核2.6及以上版本,64位)操作系统的机器上部署在线迁移服务提供的代理,充分利用已有的机器和VPC,更加安全地进行数据迁移。本文介绍通过代理迁移数据的使用场景和...
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute,本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒,实现Hive...
当您的数据迁移任务在结构迁移阶段或全量数据迁移阶段,出现 迁移失败 的提示时,您可以使用DTS的在线修复功能手动修复该任务。修复结构迁移失败的任务 DTS支持异构数据源之间的迁移,对于一些不支持的数据类型,在进行结构迁移时,如果...
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间(Bucket)内的数据迁移至OSS目标Bucket,具体如下表所示:迁移方式 说明 相关文档 在线迁移 使用在线迁移服务,您可以将第三方数据轻松迁移至阿里云对象...
数据迁移工作原理 数据迁移过程包括三个阶段,即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行,当您在配置迁移任务时,必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移:...
概述 阿里云数据传输服务DTS在数据迁移过程中,为保障数据迁移任务的顺利执行,DTS将进行预检查。如果某项检查出现异常,请参考本文进行排查处理。详细信息 当您在使用DTS进行数据迁移过程中预检查失败,请参见以下表格内容进行修复:检测...
DTS数据迁移节点可以实现跨库、全量、单表或整库的数据迁移,迁移的类型包括数据和结构。本文介绍配置DTS数据迁移节点的方法。背景信息 DTS数据迁移节点基于数据传输服务DTS,赋予任务流基于DTS进行数据传输的能力。更多信息,请参见 数据...
DTS支持结构迁移、全量数据迁移和增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成数据库迁移。本文介绍自建PostgreSQL增量迁移至RDS PostgreSQL的配置方式。前提条件 自建PostgreSQL的数据库版本为10.1...
如果迁移的源数据库类型为Redis,如自建Redis、云数据库Redis版,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为Redis的迁移方案概览 根据如下迁移方案,查看迁移任务的注意事项及限制:...
目前支持的对象包括:表、视图、同义词、触发器(不兼容)、存储过程、存储函数、包、自定义类型。重要 不兼容触发器。当迁移对象包含了触发器可能导致数据不一致。全量数据迁移 DTS会将源库中迁移对象的存量数据,全部迁移至目标PolarDB...
ossimport支持将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中。本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州(华南)区域,数据大小约500TB。现...
说明 扩缩容涉及到数据迁移,通常过程为:服务端处理增量同步数据至差值小于一个阈值时,进入只读状态,等待剩余增量数据迁移完成,然后重定向客户端请求到新的地址。若服务端在只读状态期间收到更新请求,则会拒绝请求并返回只读错误,这...
说明 扩缩容涉及到数据迁移,通常过程为:服务端处理增量同步数据至差值小于一个阈值时,进入只读状态,等待剩余增量数据迁移完成,然后重定向客户端请求到新的地址。若服务端在只读状态期间收到更新请求,则会拒绝请求并返回只读错误,这...
DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移上云。前提条件 自建Redis数据库版本为2.8、3.0、3.2、4.0、5.0、6.0。自建Redis数据库为单机架构,暂不...
如果迁移的源集群为 PolarDB PostgreSQL版(兼容Oracle),您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为PolarDB PostgreSQL版(兼容Oracle)的迁移方案概览 根据如下迁移方案,查看迁移...
由于阿里云Elasticsearch集群本身的特性、数据节点的特性、网络传输的不确定性,数据迁移过程可能会受到集群健康状态、节点存储情况等多方面因素影响。迁移不成功(集群健康状态不佳、迁移过程中断或出现类似后果的情形)可能会导致源数据...
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
为降低数据迁移对应用的影响,数据迁移功能支持不停服迁移,可实现在数据迁移过程中,应用停机时间降低到分钟级别。高性能 DTS使用高规格服务器来保证每条迁移或同步链路都能拥有良好的传输性能。对于数据迁移,DTS底层采用了多种性能优化...
HBase数据迁移 存储(OSS、NAS、SLS、EBS、OTS、HBR)对于OSS,您可以选择OSS跨区域复制功能,完成bucket级的跨地域同步。跨区域复制概述 当然您也可以选择其配套的在线迁移服务,做更加灵活的对象级数据迁移。在线迁移服务介绍 对于NAS,...
DTS支持结构迁移、全量数据迁移和增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建PostgreSQL数据库迁移上云。本文以 有公网IP的自建数据库 为例介绍增量数据迁移的配置流程。如您仅需要全量数据...
数据迁移过程中,源端请勿进行扩容、缩容、变更拆分键、迁移热点表和变更 DDL 等操作,否则可能导致数据迁移项目失败。OceanBase 数据库不支持将自增列 AUTO_INCREMENT 作为分区列。如果源端存在 AUTO_INCREMENT 分区列,请手动修改建表...
数据迁移辅助工具通过 Elasticsearch分片过滤器 实现数据平滑迁移,数据迁移过程业务无感知。在 集群数据节点迁移 对话框,选择节点迁移方式。参数 说明 系统建议 通过系统建议自动选择需要迁移的数据节点。自定义 手动选择需要迁移的数据...
在增量数据迁移过程中,如果迁移对象的选择粒度为Schema,在待迁移的Schema中创建了新的表或使用RENAME命令重建了待迁移的表,您需要在对该表写入数据前执行 ALTER TABLE schema.table REPLICA IDENTITY FULL;命令。说明 将上述命令中的 ...
DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的...
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
通过使用数据传输服务DTS(Data Transmission Service),您可以实现 PolarDB PostgreSQL版(兼容Oracle)集群间的数据迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版(兼容Oracle)集群,详情请参见 创建PolarDB PostgreSQL版(兼容...
若选择的迁移对象为表或列,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。已选择对象 如需更改单个迁移对象在目标实例中的名称,请右击 已选择对象 中的迁移对象,设置方式,请参见 库表列名单个映射。如需批量更改迁移对象在...
若选择的迁移对象为表或列,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。已选择对象 如需更改单个迁移对象在目标实例中的名称,请右击 已选择对象 中的迁移对象,设置方式,请参见 库表列名单个映射。如需批量更改迁移对象在...
若选择的迁移对象为表,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。若选择的迁移对象为整库,默认情况如下:源库中待迁移的表有主键(包含主键为单列和多列),则以该主键列为分布键。源库中待迁移的表无主键,则自动生成...
数据迁移过程中,如果因为存在 slot 而无法清理 RDS PostgreSQL 实例的日志文件,则需要彻底删除数据迁移项目后,再清理 RDS PostgreSQL 实例的日志。如果表没有主键或所有列具备 Not Null 的唯一键,则迁移数据至目标端时,可能出现重复...
数据迁移过程包括三个阶段,即结构迁移、全量数据迁移和增量数据迁移,不会删除源库数据。支持的数据源 仅支持源为RDS SQL Server。支持源为阿里云ECS自建数据库、IDC自建数据库、其它云服务器上的自建数据库或RDS SQL Server。更多详情,...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...
修改每秒迁移文件数上限 数据迁移过程中,您可以根据您的实际情况随时修改每秒迁移文件数上限参数,修改每秒迁移文件数上限后需要一定的生效时间。登录 数据在线迁移控制台。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线...