自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
数据迁移
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute，详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute，详情请参见 迁移消息队列...
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
自建数据库异地备份
本文介绍如何使用 数据库备份DBS 创建自建数据库的异地备份任务，实现异地容灾需求。本示例将位于杭州的自建MySQL数据库备份至华北2（北京）。本文也适用于其他数据库类型的自建库，例如自建Oracle、SQL Server数据库等，关于其他备份参数...
测试方法
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 准备测试数据 在自建Hadoop上生成1 TB Terasort测试数据。使用spark-submit命令向自建Spark集群中提交运行生成1 TB Terasort测试数据的Spark程序。示例如下...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
异构数据源访问
当目标数据源为自建Hadoop集群，选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验，提示网络连通。单击下一步，填写 配置文件。参数 说明 获取方式 参数配置 无 ...
一键创建OSS数据仓库
本文介绍如何通过向导将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中，即创建OSS数据仓库（创建Schema）。操作步骤 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏单击 ...
创建自建数据库用户及授权
本文创建的自建数据库用户，用于创建自建数据库实例类型的 MySQL 数据源时填写 用户名。创建自建数据库用户 在创建 MySQL 数据源时，您可以直接选择已经存在于数据库的用户作为数据迁移的用户。建议您为数据迁移项目创建专属的数据库用户并...
概述
T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据...
从自建MySQL迁移至PolarDB MySQL版（mysqldump工具）
前提条件 目标 PolarDB MySQL版 集群需已完成如下操作：创建数据库 创建和管理数据库账号 设置白名单 申请公网连接地址 迁移方式对比 您可以通过mysqldump或DTS工具将自建MySQL数据库迁移至 PolarDB MySQL版，下表对比了两种迁移方式的差异...
接入数据库实例
功能说明 DAS支持接入阿里云数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库（包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等）。对于阿里云数据库，创建实例后会自动接入DAS，无需手动接入。功能限制 ...
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
从PolarDB MySQL版迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至自建MySQL数据库，可用于数据分析、业务功能测试等场景。前提条件 为满足增量数据迁移的要求，源 PolarDB MySQL版 集群需开启Binlog，详情请参见 如何...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
异地备份方案概览
NoSQL 数据库类型 推荐方案 方案 方案特点 云Redis数据库 自建Redis数据库 其他云厂商的Redis数据库 云MongoDB数据库 自建MongoDB数据库 其他云厂商的MongoDB数据库 推荐在DBS进行 逻辑备份。通过公网将数据库实例进行异地备份，详情请参见...
自建库搭配RDS实现异地容灾
自建数据库搭配RDS 通过数据传输服务DTS，您可以将自建机房的数据库或者ECS上的自建数据库实时同步到任一地域的RDS实例。即使发生机房损毁的灾难，数据在阿里云数据库上也会有备份。详情请参见 配置同步任务（新控制台）。为RDS创建异地容...
使用MongoDB工具将自建数据库迁移至单节点实例
您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB实例。推荐使用DTS迁移单节点架构的自建MongoDB数据库上云，可实现不停机迁移上云，操作步骤，请参见 云数据库MongoDB版（单节点架构...
如何使用T+1全量同步一键建仓
操作步骤 一键创建OSS数据仓库 创建一键建仓任务后，根据业务需要，您也可以在 数据入湖 页面的 任务列表 页签中，在 操作 列单击 执行 随时手动发起数据同步操作，在目标数据仓库OSS中创建与数据源（RDS数据源、ECS自建数据库数据）相同的...
使用MongoDB工具将自建数据库迁移至副本集实例
您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB副本集实例。推荐 使用DTS迁移副本集架构的自建MongoDB数据库上云，可实现不停机迁移上云。更多数据迁移/同步场景的解决方案，请参见...
从自建MySQL迁移至RDS实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 RDS MySQL 或RDS MySQL Serverless 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，...
使用MongoDB工具将自建数据库迁移至分片集群实例
您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB分片集群实例。背景信息 建议通过DTS迁移分片集群架构的自建MongoDB数据库上云，可实现不停机迁移上云。详情请参见 使用DTS迁移分片...
从自建MySQL迁移至PolarDB-X
根据自建MySQL数据库中待迁移数据表的数据结构，在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 SQL基本操作。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角...
从自建PostgreSQL全量迁移至RDS PostgreSQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建PostgreSQL全量迁移至RDS PostgreSQL实例。DTS支持结构迁移、全量数据迁移和增量数据迁移，同时使用结构迁移和全量数据迁移可以实现自建PostgreSQL数据库的全量数据...
DMS支持的数据库
本文介绍数据管理DMS支持录入的云数据库、他云/自建的数据库类型。支持的云数据库 关系型数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 PolarDB PostgreSQL版（兼容Oracle）PolarDB...
MongoDB 3.4（已停止新购）
将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS将自建数据库迁移至云数据库MongoDB 使用DTS迁移单节点架构的自建MongoDB数据库上云 使用DTS迁移副本集架构的自建MongoDB数据库上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 ...
数据查询与分析管控
管控数据源的查询权限 说明 如您未创建数据源，请先进入 数据源管理 页面创建。您可根据下图步骤，授权某成员或角色，拥有指定工作空间数据分析模块中目标数据源的查询权限。配置要点如下。参数 描述 工作空间 仅支持选择当前账号为 空间...
通过专线、VPN网关或智能接入网关接入的自建MySQL迁移...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将通过专线、VPN网关、智能接入网关接入的自建MySQL迁移至其他云账号下的 RDS MySQL 或RDS MySQL Serverless 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时...
通过专线、VPN网关或智能接入网关接入的自建MySQL迁移...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将通过专线、VPN网关、智能接入网关接入的自建MySQL迁移至其他云账号下的 RDS MySQL 或RDS MySQL Serverless 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时...
数据迁移和同步方案概览
使用MongoDB工具将自建数据库迁移至单节点实例 副本集 使用DTS迁移副本集架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至副本集实例 分片集群 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据...
备份下载的常见问题
详情请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL快照备份文件恢复到自建数据库。通过数据传输服务DTS将 本地数据库迁移到新的RDS实例 上，或者使用RDS MySQL的 全量备份导入功能，...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
如果您准备将自建PostgreSQL数据库的指定数据库迁移到RDS PostgreSQL实例，同时您已经熟悉pg_dump和pg_restore工具，暂时不希望了解和使用阿里云提供的其他迁移服务（RDS PostgreSQL一键上云功能或数据传输DTS服务）时，您可以参考本文档...
自建Oracle同步至PolarDB-X 2.0
前提条件 已创建源自建Oracle数据库和目标PolarDB-X 2.0实例，且自建Oracle数据库的版本为19c、18c、12c、11g、10g或9i版本。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见 ...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将通过专线、VPN网关或智能接入网关接入的自建MySQL迁移至 RDS MySQL 或RDS MySQL Serverless 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将通过专线、VPN网关或智能接入网关接入的自建MySQL迁移至 RDS MySQL 或RDS MySQL Serverless 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
自建Oracle同步至DataHub
前提条件 已创建源自建Oracle数据库和目标实例 阿里云流式数据服务DataHub，且自建Oracle数据库的版本为19c、18c、12c、11g、10g或9i版本。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问...
- 产品推荐
- 这些文档可能帮助您