大数据上云及巡检服务内容说明
迁移实施基础服务之数据迁移服务范围 基于迁移规划产出的方案，为客户大基于迁移规划产出的方案，为客户大数据平台数据迁移过程中提供工具部署使用培训以及技术支持，问题解决，保障实施过程顺利进行，并配合完成数据迁移的割接。...
EMR元数据迁移到数据湖构建（DLF）
适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体集群需要迁移到阿里云EMR新集群（DLF做元数据）。从阿里云EMR老集群（MySQL做元数据），仅元数据修改为DLF。说明 仅EMR-3.33及后续版本、...
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
迁移StarRocks数据至EMR Serverless StarRocks
本文将指导您如何使用StarRocks跨集群数据迁移工具，在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能，旨在为您提供一键式解决方案，实现源集群数据无缝迁移至目标集群，确保数据一致性...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 本实践方案提供如下场景的最佳实践：基于IPSec VPN隧道+DistCp（Hadoop原生工具），将数据...
Kafka数据迁移MaxCompute最佳实践
本文为您介绍如何使用DataWorks数据集成，将Kafka集群上的数据迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用DataWorks简单...
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、内存）与磁盘，并选择所需的软件，进行自动化部署。经济性 您可以按需创建集群，即离线作业运行结束就可以...
Elasticsearch数据迁移至MaxCompute
进行数据迁移前，您需要保证自己的阿里云Elasticsearch集群环境正常。搭建阿里云Elasticsearch集群的详细过程，请参见 快速入门。本示例中阿里云Elasticsearch的具体配置如下：地域：华东2（上海）可用区：上海可用区B 版本：5.5.3 with ...
迁移MySQL或Doris数据到StarRocks
通过MySQL协议的外部表进行同步，在目标集群创建目标表，在源集群创建外部表，将数据插入外部表实现数据迁移。适用场景 适用于单表数据迁移的场景。如果表数量大，则操作会比较繁琐，耗时较高。操作步骤 创建StarRocks外部表。CREATE ...
迁移ClickHouse数据到StarRocks
通过JDBC方式，在目标集群创建目标表，在源集群创建外部表，将数据插入外部表实现数据迁移。适用场景 适用于单表数据迁移的场景。如果表数量大，则操作会比较繁琐，耗时较高。操作步骤 创建JDBC资源。create external resource ck_jdbc ...
新版计费项
针对源地址中存在，目的地址中不存在的文件 对源端的操作 迁移前对比数据需要一次请求：HeadObject 迁移数据需要一次请求：GetObject 对目的端的操作 迁移前对比数据需要一次请求：HeadObject 迁移数据需要一次请求：PutObject 重要 若迁移...
旧版计费项
针对源地址中存在，目的地址中不存在的文件 对源端的操作 迁移前对比数据需要一次请求：HeadObject 迁移数据需要一次请求：GetObject 对目的端的操作 迁移前对比数据需要一次请求：HeadObject 迁移数据需要一次请求：PutObject 重要 若迁移...
迁移Oracle数据至MaxCompute最佳实践
本文为您介绍如何通过DataWorks的数据集成功能，迁移Oracle数据至MaxCompute。前提条件 准备DataWorks环境 开通MaxCompute。创建工作空间（本文以简单模式的工作空间为例）。在DataWorks上创建业务流程。详情请参见 创建业务流程。准备...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，需先...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
EMR旧版数据开发迁移公告
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。...
客户案例
价值体现 通过MMA工具，15天完成400TB+历史数据迁移，同时保证了迁移的准确性，让客户拥有平滑高效的上云体验。基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网...
数据迁移和同步方案概览
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。重要 单节点...
从自建HDFS迁移数据
如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，需要一个短暂的业务停写过程，用来启用双写双算或直接将业务切换到新集群上。
2019年之前
MySQL实例间的双向同步 RDS MySQL实例间的单向同步 支持SQL Server的离线数据迁移（大版本升级中，暂不可用）。无 2015年8月11日 支持在数据迁移的过程中，自动在目标实例中创建数据库。支持自动回收DTS添加到RDS实例中的白名单。无 2015年...
旧版使用场景
全量任务是根据 迁移起点时间 迁移一次指定 迁移起点时间 之后的全量数据，数据迁移完成后任务结束。说明 如果迁移完成后源数据有变化，您可以再次提交全量迁移任务，系统将仅迁移变化的数据。增量任务 增量任务适用于源端数据有变化，有...
从HDFS迁移数据到OSS/OSS-HDFS
本文为您介绍如何使用阿里云JindoDistCp从HDFS迁移数据到OSS/OSS-HDFS。前提条件 已根据 JindoDistCp使用说明 进行环境适配和工具包下载。注意事项 JindoSDK 4.4.0及以上版本默认使用域名分离的方式，数据读写域名默认使用内网标准OSS域名...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
数据迁移链路规格说明
724 亚太东南 1（新加坡）美国西部 1（硅谷）198 large 2,256 说明 上述测试模型的数据是各种数据迁移链路规格的极限性能，如果数据迁移的表没有主键、网络延迟大、存在更新热点或者源实例与目标实例存在性能瓶颈时，无法达到上表中的增量...
准备工作
本文介绍数据迁移之前的准备工作。步骤一：连通网络 NAS文件系统之间进行数据迁移时，需要迁移服务可以同时访问源NAS和目的NAS。因此，您需要确保通过同一个阿里云专有网络VPC可以同时访问两个NAS。注意事项 当源数据地址或目的数据地址为...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
EMR Kafka磁盘故障运维
数据迁移：磁盘修复重新上线后，通常需要将数据从其他磁盘挪回到修复后的磁盘以保证磁盘负载均衡。操作步骤 以下示例以Broker 0的/mnt/disk7 坏盘为例，介绍如何采用原地数据恢复方式进行故障盘运维。故障盘隔离。以SSH方式登录到源Kafka...
什么是数据资源平台
协同 数据同步：数据同步可实现离线、实时多源异构数据的便捷同步或接入，系统可提供完善的数据接入配置、数据模板配置、数据同步任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。...参考资料 最佳实践详细步骤（包括环境搭建），参考：EMR元数据迁移数据湖DLF最佳实践
EMR Kafka磁盘写满运维
需要评估每次迁移数据的大小、迁移时长对业务的影响程度。由于该方法是非标操作，请在相应的Kafka版本测试后再用于生产集群。操作步骤 当磁盘写满时，由于log directory已经offline了，所以不能用 kafka-reassign-partitions.sh 工具进行...
从自建MySQL迁移至PolarDB-X
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
- 产品推荐
- 这些文档可能帮助您