文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 的测试数据是否与原OSS待迁移数据一致。执行命令${HADOOP_HOME}/bin/hadoop fs-du-s dfs:/f-xxxxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/oss2dfs 返回示例 110223424482 dfs:/f-xxxxx....
表格存储支持跨地域数据迁移吗？
当使用DataWorks迁移数据时，分别新建OTSReader和OTSWriter的数据源，测试数据源的网络连通性。当使用通道服务迁移数据时，在连接通道的客户端机器上分别curl源实例的Endpoint和目标实例的Endpoint，测试网络连通性。如果测试结果中均返回...
DTS增量数据迁移时MySQL存储引擎检查失败
问题描述 在启动MySQL之间的增量数据迁移任务时，DTS将在预检查阶段对源数据库中的表进行存储引擎检查。本文将介绍源存储引擎检查失败对应的修复方法。问题原因 这个检查项主要检查源数据库中是否存在增量迁移不支持的存储引擎，目前MySQL...
迁移开源HDFS的数据到文件存储 HDFS 版
基于阿里云ECS搭建Hadoop集群（下称"迁移集群"），用于访问 文件存储 HDFS 版 实例和迁移数据，并满足以下条件：迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...
使用JindoDistCp工具迁移第三方云对象存储数据到OSS/...
本文介绍如何通过JindoDistCp工具，将第三方云对象存储中的数据迁移到OSS/OSS-HDFS。前提条件 准备迁移环境并下载JindoDistCp工具，参见 JindoDistCp使用说明。已在Hadoop的 core-site.xml 文件里，配置AccessKey ID和AccessKey Secret。...
文件存储 HDFS 版和数据库MySQL双向数据迁移
背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL、Oracle、Postgres等）中的数据导入 文件存储 HDFS 版 中，也可以将 文件存储 HDFS 版 的...
将Elasticsearch数据迁移至OpenStore智能混合存储
如果您需要将商业版或自建Elasticsearch集群中的数据迁移至日志增强版实例的OpenStore智能混合存储中，可以通过手动备份快照和恢复快照的方法来实现。本文介绍实现的具体操作。前提条件 已开通阿里云对象存储OSS，新建一个标准存储类型的...
将Elasticsearch数据迁移至OpenStore冷热分离存储
通过快照备份与恢复命令，您可以实现手动备份阿里云Elasticsearch商业版实例或自建Elasticsearch数据至...如果是第三方数据直接存储进OpenStore，在数据存储进OpenStore前，需要业务侧手工将索引segment forcemerge为1，否则查询耗时会增加。
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
迁移工具
迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储支持的迁移工具请参见下表。迁移工具 说明 应用场景 DataWorks/DataX DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，底层实现依赖于DataX离线数据同步工具。...
使用ossimport迁移数据
本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州（华南）区域，数据大小约500TB。现希望将这些数据，通过ossimport工具，于一周内迁移至OSS华东1（杭州）区域。在迁移的同时，需保证自身...
概述
操作流程 在将非阿里云数据迁移至阿里云文件存储NAS中时，需要配置一个ECS实例挂载NAS作为数据传输的中转节点，然后通过迁移工具迁移数据至阿里云NAS。配置数据传输中转节点 迁移数据至阿里云NAS 如果您需要从本地数据中心频繁读写NAS上的...
背景信息
您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。创建迁移任务流程 创建迁移任务流程如下图所示：重要 执行在线迁移任务过程中，读取源站数据会产生公网流出流量费，该费用由源站的存储...
概述
您可以将同一个阿里云账号下的OSS某个存储空间（Bucket）的数据迁移至另一个Bucket，还可以跨不同阿里云账号迁移OSS Bucket之间的数据。OSS Bucket之间的数据迁移包含以下场景：同账号下的OSS数据迁移，即同一个阿里云账号下相同或者不同...
背景信息
您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。创建迁移任务流程 创建迁移任务流程如下图所示：重要 在线迁移目前仅支持将COS V5版本上传的文件迁移至OSS，其他版本的文件是否支持迁移...
使用在线迁移服务迁移数据
阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标...
使用在线迁移服务跨账号迁移OSS数据
重要 目前在线迁移功能不收取服务费用，但是因迁移数据时涉及到API请求及数据的上传、下载，所以会产生一定的API请求及上传和下载流量费用。更多信息，请参见 产品计费。前提条件 已创建RAM用户。为阿里云账号A创建RAM用户A，为阿里云账号B...
背景信息
您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。创建迁移任务流程 创建迁移任务流程如下图所示：重要 执行在线迁移任务过程中，读取源站数据会产生公网流出流量费，该费用由源站的存储...
背景信息
您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。创建迁移任务流程 创建迁移任务流程如下图所示：重要 数据地址与控制台同Region时，推荐选择internal内网Endpoint。当源端和目的端数据...
使用数据复制功能迁移同账号下的OSS数据
在同一个阿里云账号下，您可以通过OSS的跨区域复制功能将地域A的某个存储空间（Bucket）数据迁移至地域B下的另一个Bucket。如果您需要将地域A某个Bucket的数据迁移至相同地域的另一个Bucket，请使用OSS的同区域复制功能。注意事项 数据迁移...
背景信息
本教程讲解如何将金山云对象存储中的数据迁移至阿里云对象存储OSS。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行灵活的数据...
背景信息
本教程讲解如何将七牛云对象存储中的数据迁移至阿里云对象存储OSS。该功能已下线，请使用 新版。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
背景信息
本教程讲解了如何将腾讯云对象存储COS的数据迁移到阿里云对象存储OSS。该功能已经下线，请使用 新版。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以...
数据迁移概述
从HDFS迁移数据到OSS 将数据迁移至OSS-HDFS OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算...
背景信息
本教程讲解了如何将UCloud对象存储US3上的数据迁移到阿里云对象存储OSS。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行灵活的...
背景信息
本教程讲解了如何将谷歌Cloud Storage上的数据迁移到阿里云对象存储OSS。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行灵活的...
将NAS数据迁移至本地
通过SFTP客户端迁移数据 当有少量文件需要一次性下载时，建议您在本地系统上安装使用SFTP客户端来完成。方案优势 支持众多操作系统平台。提供图形化操作界面。操作步骤 为本地操作系统安装SFTP客户端。SFTP的客户端工具有多种版本，以下...
使用数据迁移工具ossimport迁移OSS资源失败的解决方法
问题描述 使用阿里云对象存储OSS时，将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中可以使用ossimport工具。本文介绍运用数据迁移工具ossimport迁移OSS资源失败的报错原因及解决方案。问题原因 使用...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
背景信息
您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。创建迁移任务流程 创建迁移任务流程如下图所示：重要 数据地址与控制台同Region时，推荐选择internal内网Endpoint。当源端和目的端数据...
从OSS迁移数据
本章节介绍如何将对象存储OSS上的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见...
使用rsync工具迁移数据
迁移数据的操作如下所示。挂载源和目标文件系统。重要 推荐购买新的临时ECS执行迁移操作。如果使用已有的ECS执行迁移操作，会与正在运行的业务争抢CPU和网络带宽资源。登录 ECS管理控制台 单击 创建实例 后，在 基础配置 页面配置如下信息...
使用Robocopy工具迁移数据
常见问题 如何加速迁移数据至NAS SMB协议文件系统 如果您需要加速迁移海量数据（例如，10 T以上的上亿小文件，单个文件100K左右的文件），同时也在往同样的SMB文件系统中写入大量的业务数据。您可通过在windows ECS上安装最新的Python程序...
概述
当数据需要通过专线或VPN迁移上云、自建存储迁移上云时，您可以在Linux（内核2.6及以上版本，64位）操作系统的机器上部署在线迁移服务提供的代理，充分利用已有的机器和VPC，更加安全地进行数据迁移。本文介绍通过代理迁移数据的使用场景和...
准备工作
说明 如果您已有用于存储迁移数据的NAS文件系统，可跳此步骤。为您的目标NAS文件系统添加挂载点，具体操作，请参见 添加挂载点。说明 目前只支持迁移至挂载在VPC网络上的文件系统，经典网络暂时不支持。若您配置了NAS访问权限，需允许您NAS...
CDH6数据迁移
步骤一：为 文件存储 HDFS 版 添加用户和组映射 迁移数据前，您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版 实例访问控制的详细信息，请参见 访问控制。获取原CDH集群...
迁移OSS-HDFS服务不同Bucket之间的数据
本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或...
- 产品推荐
- 这些文档可能帮助您