数据迁移
迁移其它业务平台的业务数据至MaxCompute：迁移Hadoop数据至MaxCompute，详情请参见 迁移Hadoop数据至MaxCompute最佳实践（视频）。数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至...
E-MapReduce数据迁移方案
HDFS数据迁移 Distcp工具同步数据 HDFS数据迁移可以通过Hadoop社区标准的 DistCp工具 迁移，可以实现全量和增量的数据迁移。为减轻现有集群资源压力，建议在新旧集群网络连通后在新集群执行 distcp 命令。全量数据同步 hadoop distcp-...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
数据上云场景
使用DataWorks结合DataX进行Hadoop数据迁移的示例请参见 Hadoop数据迁移新手教程，或参见视频教程 Hadoop数据迁移到MaxCompute最佳实践。Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请...
文件存储 HDFS 版和对象存储OSS双向数据迁移
步骤三：数据迁移 为Hadoop集群挂载好 文件存储 HDFS 版 实例和安装OSS客户端Jindo SDK后，使用Hadoop MapReduce任务（DistCp）即可实现数据迁移。迁移数据的操作如下所示。实践一：将 文件存储 HDFS 版 上的数据迁移至对象存储OSS 执行...
CDH6数据迁移
如果要迁移的数据量大，请开启YARN服务，以便使用Hadoop DistCp数据迁移工具并行执行迁移任务。迁移数据。建议将/user 等服务目录和相关数据目录全量迁移至 文件存储 HDFS 版。如果涉及将云下集群的数据迁移到云上。具体操作，请参见 迁移...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 本实践方案提供如下场景的最佳实践：基于IPSec VPN隧道+DistCp（Hadoop原生工具），将数据...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
MMA概述
MMA迁移作业方案 本文为您介绍Hadoop数据迁移至MaxCompute的两种迁移方案，您可以根据实际情况选择。迁移链路一 专线场景下，支持通过MMA迁移Hive数据至MaxCompute。迁移方案如下图所示。迁移链路二 无专线场景下，支持通过闪电立方迁移...
从自建HDFS迁移数据
背景介绍 在某些场景下面，我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。修改Hadoop 配置信息，详情请参见 ...
迁移开源HDFS的数据到文件存储 HDFS 版
基于阿里云ECS搭建Hadoop集群（下称"迁移集群"），用于访问 文件存储 HDFS 版 实例和迁移数据，并满足以下条件：迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...
迁移OSS-HDFS服务不同Bucket之间的数据
本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或...
快速入门
如果您是初次使用阿里云Elasticsearch，可参见产品使用系列文档，快速使用Elasticsearch、Logstash、Beats、高级监控报警功能和应用...大数据云产品迁移 包括MaxCompute、Hadoop、以及经过实时计算处理后的数据迁移至阿里云Elasticsearch。
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、内存）与磁盘，并选择所需的软件，进行自动化部署。经济性 您可以按需创建集群，即离线作业运行结束就可以...
最佳实践概览
场景 文档链接 Elasticsearch迁移 迁移方案选取指南 阿里云Elasticsearch间数据迁移 通过reindex迁移数据 基于reindex实现低版本多type数据迁移 自建Elasticsearch数据迁移 通过OSS将自建Elasticsearch数据迁移至阿里云 通过阿里云Logstash...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
从OSS迁移数据
{HADOOP_HOME}/bin/hadoop du-h oss:/<accessKeyId>:<accessKeySecret>@<bucket-name>.<endpoint>/test_data 启动Hadoop MapReduce任务（DistCp）将测试数据迁移至文件引擎。{HADOOP_HOME}/bin/hadoop distcp \ oss:/<accessKeyId>:...
HBase存算一体转存算分离
数据迁移。将存算一体架构HDFS上的HBase数据迁移到OSS-HDFS。OSS-HDFS详情请参见 OSS-HDFS服务概述。开通并授权访问OSS-HDFS服务，具体操作请参见 开通并授权访问OSS-HDFS服务。创建OSS-HDFS HBase数据存储目录。hadoop fs-mkdir oss:/${...
迁移HDFS数据到OSS-HDFS
OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以利用Hadoop生态系统的各种工具和框架进行数据处理和分析。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果...
迁移HDFS数据到OSS
本文以阿里云EMR集群为例，说明如何使用阿里云Jindo DistCp将数据从HDFS迁移到OSS。背景信息 在传统大数据领域，HDFS经常作为大规模数据的底层存储。在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
云迁移中心
云迁移中心（Cloud Migration Hub，简称CMH）是阿里云自主研发的一站式迁移平台。为广泛用户的迁移上云项目提供自动与智能的 系统调研，云上规划，迁移管理，简化和加速用户上云过程，辅助客户业务化管理迁移全生命周期。
在线迁移服务
阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储 OSS，也可以在对象存储 OSS 之间进行灵活的数据迁移。
服务器迁移中心
服务器迁移中心（Server Migration Center，简称SMC）是阿里云提供给您的迁移平台。专注于提供能力普惠、体验一致、效率至上的迁移服务，满足您在阿里云的迁移需求。
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
JindoData概述
IDC机房数据（HDFS）上云迁移和多云迁移利器，支持多种存储数据迁移到阿里云OSS和JindoFS服务，使用上类似Hadoop DistCp。支持JindoTable。结合计算引擎的使用推出的一套解决方案，支持Spark、Hive和Presto等引擎，以及表格式数据的管理...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
EMR HBase版本
EMR HBase版本 EMR HBase随EMR版本一起发布，EMR主版本分为3.x系列和5.x系列，其中EMR 3.x系列版本对应Hadoop 2.x版本和HBase 1.x版本，EMR 5.x系列版本对应Hadoop 3.x版本和HBase 2.x版本。以下是EMR已发布的EMR版本和对应的Hadoop、HBase...
手工缩容节点组
hadoop dfsadmin-report 当指定节点的Decommission Status为Decommissioned，即表示该节点DataNode的数据已经迁移⾄其他节点，下线操作已经完成。SmartData JindoStorageService Decommission（Hadoop集群）进入SmartData服务的状态页面。...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
功能特性
创建操作系统迁移任务 操作系统迁移（Linux）操作系统迁移（Windows）创建VMware无代理迁移任务 导入迁移源信息后，SMC控制台会自动生成迁移源记录，您需要在控制台为迁移源创建VMware无代理迁移任务，并启动任务进行迁移。创建VMware无...
配置迁移演练
它可以帮助用户在实际迁移前充分了解迁移方案的可行性和风险，并获取迁移的数据量、迁移速度及其迁移总时长等信息，为您提供修复建议，从而减少实际迁移中可能出现的问题和损失。本文介绍如何对服务器和操作系统进行迁移演练。前提条件 已...
新功能发布记录
2024年03月 功能名称 功能描述 发布时间 相关文档 操作系统迁移 支持将以下操作系统迁移至迁移到Windows Server 2019 数据中心版 64位：Windows Server 2012 R2 标准版/数据中心版 64位 Windows Server 2016 标准版/数据中心版 64位 2024-...
什么是服务器迁移中心
高度成熟化，支持多平台、多环境迁移 支持服务器迁移 支持操作系统迁移 支持VMware无代理迁移 支持跨可用区迁移阿里云ECS实例 支持桌面迁移 高度自动化，释放人工 简单操作即可执行迁移，迁移过程中可完全无人值守，自动化完成，迁移进度...
迁移流程
导入迁移源 SMC支持多种导入迁移源方式，您可以根据需求选择以下任一方式导入迁移源：通过控制台自动导入迁移源 通过命令行一键导入迁移源 通过SMC客户端导入迁移源 通过配置VMware无代理连接器导入迁移源 创建并启动迁移任务 SMC支持多种...
基本概念
迁移任务 导入迁移源信息后，SMC控制台会自动生成迁移源记录，您需要在SMC控制台为迁移源创建迁移任务，并启动任务进行迁移。目标实例 创建迁移任务时，可选择一个ECS实例作为目标实例，迁移后，源服务器的数据会覆盖目标实例中的数据。...
- 产品推荐
- 这些文档可能帮助您