EMR元数据迁移DLF最佳实践
适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品时，元数据迁移可以参考该文档。从阿里云EMR老集群（MySQL做元数据），整体集群需要迁移到阿里云EMR新集群（DLF做元数据）时，元数据迁移可参考该文档。从阿里云EMR老集群（MySQL做...
EMR元数据迁移到数据湖构建（DLF）
适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体集群需要迁移到阿里云EMR新集群（DLF做元数据）。从阿里云EMR老集群（MySQL做元数据），仅元数据修改为DLF。说明 仅EMR-3.33及后续版本、...
名词解释
迁移任务 迁移任务在云迁移中心（CMH）中指代在各个迁移工具中的任务引用，真实的数据迁移并不是发生在云迁移中心，而是发生在诸如 服务器迁移中心（SMC），数据传输（DTS）等迁移工具中，云迁移中心（CMH）同步到迁移组大盘进行展示。
Hadoop集群迁移至DataLake集群
数据迁移 在新集群创建完成后，根据新旧集群不同的存储方式，提供以下迁移方式，以确保旧集群数据能够顺利且准确地迁移到新集群中。旧集群存储 新平台存储 迁移方式 OSS OSS 无需迁移数据。OSS OSS-HDFS 使用 JindoDistCp使用说明 工具进行...
业务迁移大盘
迁移组创建 迁移组定义 在云迁移中心（CMH）中，迁移组是一个非常重要的概念，特指具备一定业务属性的一组资源，它们在真实的业务系统中可以是一个应用，可以是一组应用，甚至是一个大数据集群。迁移组代表着一个云迁移项目最小单位的迁移...
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
Elasticsearch数据迁移至MaxCompute
进行数据迁移前，您需要保证自己的阿里云Elasticsearch集群环境正常。搭建阿里云Elasticsearch集群的详细过程，请参见 快速入门。本示例中阿里云Elasticsearch的具体配置如下：地域：华东2（上海）可用区：上海可用区B 版本：5.5.3 with ...
整体流程和预估时间
1.5 GB/分钟 在新集群中进行数据比对 3~5分钟 将新集群的数据迁移到原集群 集群大小（换算为KB）×集群规格对应的最大IOPS×15%×16 KB/秒 例如，若一个集群（4核16 GB，最大IOPS为32000），集群大小为100 GB，备份集（快照）数据大小为10 ...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
通过Logstash迁移自建Elasticsearch数据
步骤二：创建搜索索引 在使用Logstash将Elasticsearch集群数据迁移到Lindorm搜索引擎前，需先在Lindorm中创建好用于存储迁移数据的目标索引。重要 Logstash服务不会将源索引的 settings 等信息拷贝到目标索引中，因此，如果您希望目标索引...
大数据上云及巡检服务内容说明
本服务包含四项子服务，客户可以结合自身业务需求进行购买：大数据迁移方案设计服务（可选）大数据迁移方案实施基础服务（可选数据迁移、任务迁移两种子服务其中之一）大数据迁移方案实施增补服务（可选）服务注意事项如下：本SOW在一次...
集群自定义监控报表
集群数据库 transaction_commit_rt 事务平均提交耗时 集群数据库 transaction_rollback_rt 事务平均回滚耗时 集群数据库 transaction_rt 事务平均处理耗时 集群数据库 active_session 当前活跃会话数 集群数据库 all_session 当前会话数 ...
旧版计费项
第三方NAS迁移至阿里云NAS 第三方NAS迁移至阿里云NAS的计费项组成如下图所示：ECS迁移至OSS ECS迁移至OSS的计费项组成如下图所示：API请求费用 在线迁移任务在数据迁移前需要对源地址和目的地址的文件进行对比、迁移时将源文件下载后上传到...
新版计费项
本文档详细介绍了从不同源端数据源到OSS进行数据迁移时的费用构成，包括 OSS 产品的内外网传输费用、API请求费、解冻费用及流量费用。该文档适用于新版在线迁移服务。计费组成 概述 不同源端到目的端迁移数据的收费情况如下表所示：重要 当...
升级内核大版本
本文介绍如何通过集群间的数据迁移升级内核大版本。前提条件 源集群和目标集群均为社区兼容版集群。源集群和目标集群已具备数据库账号和密码。源集群和目标集群的副本需一致。源集群和目标集群需在同一地域，且使用相同的VPC。源集群和目标...
一键迁移索引数据
为了快速实现自建Elasticsearch集群迁移上云、集群索引重建（reindex）和跨集群数据迁移，阿里云Elasticsearch提供了一键索引迁移功能。本文介绍一键索引迁移功能的应用场景及使用方法。前提条件 已创建满足条件的源和目标端Elasticsearch...
迁移方案
对接自建平台 如果您自建了一套大数据平台，则DataFlow集群也可以轻松集成进您现有的平台中：资源管理与运维 DataFlow集群基于YARN进行资源调度与管理，因此只需要按照集成YARN集群到已有平台的通常操作进行即可。您可以根据需要配置YARN...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
云数据库ClickHouse集群间的数据迁移
当您计划切换云数据库ClickHouse的版本时，可以使用 云数据库ClickHouse 控制台的数据迁移功能进行数据迁移。该功能支持数据的全量迁移和增量迁移，来确保您数据的完整性。前提条件 源集群和目标集群均为社区兼容版集群。源集群和目标集群...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
版本发布记录
2023年01月 功能名称 描述 相关文档 监控告警 新特性 新增监控项 ZooKeeper CPU使用率 ZooKeeper内存使用率 ClickHouse控制台查看监控 升级内核大版本 新特性 云数据库ClickHouse 社区兼容版集群支持通过集群间的数据迁移升级内核大版本。...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
集群恢复：按备份集恢复
若您要恢复至的时间点是某个备份集（快照）的时间点，可通过按备份集（快照）恢复的方式恢复全量集群数据。前提条件 请确保误操作前已存在备份集（快照）。建议在业务低峰期进行数据恢复。注意事项 恢复后的集群包含原集群的数据和账号信息...
集群恢复：按时间点恢复
步骤三、在新集群中进行数据比对 当全量集群数据恢复至新集群中完成后，您需要登录到新集群，并进行数据比对，验证数据。您可通过DMS登录新集群，也可通过其他客户端或者命令行的方式。本文介绍通过DMS登录集群进行验证，关于其他方式，请...
旧版使用场景
在线数据迁移只支持专有网络下的ECS实例数据迁移，不支持经典网络。FTP迁移至OSS 在线迁移服务支持将FTP服务器上的数据迁移到阿里云对象存储OSS，迁移流程如下图所示。说明 执行在线迁移任务过程中，读取源站数据会产生公网流出流量费，该...
迁移概述
迁移自建Kafka集群元数据至已有实例 迁移自建Kafka集群元数据至新实例 迁移Topic上云 迁移Group上云 MirrorMaker 您可以使用该工具将源自建Kafka集群中的数据镜像拷贝到目标 云消息队列 Kafka 版 集群。迁移数据上云 迁移操作流程 流程说明...
自建Greenplum迁移到AnalyticDB PostgreSQL版
本文介绍如何将自建Greenplum集群的数据迁移至AnalyticDB PostgreSQL版实例。迁移流程 评估迁移风险，确定迁移方案和计划。采购AnalyticDB PostgreSQL版测试实例，验证迁移方案（包含数据迁移验证和应用迁移验证）。采购AnalyticDB ...
迁移数据上云
本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到 云消息队列 Kafka 版 集群。前提条件 您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云 背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...
购买按量付费集群
如需切换存储类型，建议您购买一个新的集群并配置预期的存储类型，将原有集群的数据迁移到新集群即可。关于两种存储类型的详细对比，请参见 如何选择PSL4和PSL5。选择 存储引擎。PolarDB 支持 InnoDB 和 InnoDB&高压缩引擎 两种引擎类型。...
将自建ClickHouse向企业版迁移
如果源集群支持从外部网络访问时，您可以将源集群数据读取至目标集群；如果源集群不支持从外部网络访问时，您可以将源集群数据推送至目标集群。（可选）在目标集群上将源集群的IP地址删除。从源集群中删除只读用户。操作步骤 在源集群上...
购买包年包月集群
如需切换存储类型，建议您购买一个新的集群并配置预期的存储类型，将原有集群的数据迁移到新集群即可。关于两种存储类型的详细对比，请参见 如何选择PSL4和PSL5。选择 存储引擎。PolarDB 支持 InnoDB 和 InnoDB&高压缩引擎 两种引擎类型。...
OceanBase 数据库之间的数据迁移
如果数据迁移项目已启用正向切换，数据迁移会根据数据迁移项目的类型，自动删除隐藏列和唯一索引。详情请参见 数据迁移服务隐藏列机制说明。库表汇聚场景下：建议您使用导入对象或匹配规则的方式映射源端和目标端的关系。建议您自行在目标...
创建Serverless集群
如需切换存储类型，建议您购买一个新的集群并配置预期的存储类型，将原有集群的数据迁移到新集群即可。关于两种存储类型的详细对比，请参见 如何选择PSL4和PSL5。步骤2：完成集群配置 集群配置包括集群名称、网络类型和数据库表名大小写等...
自建Oracle间迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启ARCHIVELOG（归档模式），...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
- 产品推荐
- 这些文档可能帮助您