自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
产品优势
优势总结 对比类目 自建Hadoop系统 阿里云 DLA+OSS方案 产品体系 复杂、组件较多 一体化、端到端（入湖=>管理=>ETL=>分析查询），产品体验好；组件精耕细作Presto、Spark；弹性 无 云原生、弹性强、一分钟可弹300节点参与计算 性价比 开源...
数据湖生态接入
生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...
迁移概述
说明 如果元数据文件中包含了自建Kafka集群的流量、磁盘、配置等信息，购买实例时，云消息队列 Kafka 版 会根据元数据文件信息，自动评估并推荐实例规格，您可以根据推荐意见购买实例。迁移自建Kafka集群元数据至已有实例：在 云消息队列 ...
使用自建镜像仓库
拉取自建镜像仓库中的镜像时，可能会碰到因协议不同、证书认证失败或者使用了自建DNS服务器而导致镜像拉取失败的问题。本文介绍在自建镜像仓库采用HTTP协议和使用自签发证书或者自建DNS服务器的情况下，如何拉取自建镜像仓库中的镜像来创建...
测试环境
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明：使用自建Spark和DLA Spark分别访问自建Hadoop集群，运行Terasort 1 TB基准测试，对它们的耗时进行对比分析。DLA Spark+OSS配置如下：配置名称 ...
测试结果
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时（min）DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用，自建Hadoop集群在高峰期需要...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
使用CreateCluster API创建集群
参数值为USER_RDS，对应控制台的 自建RDS。参数值${dbURL}：填写RDS地址，示例值：jdbc:mysql:/rm-bp1qg11xjszt3x3*.mysql.rds.aliyuncs.com/hivemeta 。参数${dbUser}：填写RDS用户名。参数${dbPassword}：填写RDS用户${dbUser}对应的密码...
通过DataWorks将Hadoop数据同步到阿里云ES
支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
从自建MySQL迁移至PolarDB-X
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 PolarDB-X。DTS支持全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库迁移至 ...
测试方法
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 准备测试数据 在自建Hadoop上生成1 TB Terasort测试数据。使用spark-submit命令向自建Spark集群中提交运行生成1 TB Terasort测试数据的Spark程序。示例如下...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
解读上云评估报告
Check rds empty（检查RDS PostgreSQL数据库是否是空库）Check source connectivity（检查自建PostgreSQL的连通性）Check source version（检查自建PostgreSQL的大版本）Check source glibc version（检查自建PostgreSQL的GLIBC版本）Check...
监控大盘
前提条件 目标数据库实例为：RDS MySQL、自建MySQL、PolarDB MySQL版 云数据库Redis版、自建Redis 云数据库MongoDB版、自建MongoDB RDS PostgreSQL RDS SQL Server 在DAS中接入对应的数据库实例，并且接入状态显示为 连接正常。接入数据库...
监控大盘
前提条件 目标数据库实例为：RDS MySQL、自建MySQL、PolarDB MySQL版 云数据库Redis版、自建Redis 云数据库MongoDB版、自建MongoDB RDS PostgreSQL RDS SQL Server 在DAS中接入对应的数据库实例，并且接入状态显示为 连接正常。接入数据库...
应用场景
分布式调度（支持非微服务场景）MSE ZooKeeper提供了丰富的分布式锁，分布式队列等功能，可以为自建分布式应用提供多种分布式协调解决方案，提升系统高可用能力，快速高效实现分布式应用系统的构建。如果你使用的是Hadoop、HBase、Kafka和...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
ZooKeeper的使用场景和MSE ZooKeeper的优势
优势二：免运维且控制台功能丰富 自建ZooKeeper和MSE ZooKeeper专业版对比如下：对比项 MSE ZooKeeper专业版 自建ZooKeeper 系统搭建及运维成本 资源全托管免运维，内置SLB，自动绑定域名，故障节点自动摘除。需自行购买各种资源搭建系统，...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的...JindoDistCp数据迁移 支持将自建HDFS集群数据迁移到阿里云OSS，针对大文件和大量小文件场景优化。阿里云OSS-HDFS服务（JindoFS服务）JindoFS服务 为阿里云OSS产品增加一种新的Bucket存储选项，提供...
一键迁移索引数据
为了快速实现自建Elasticsearch集群迁移上云、集群索引重建（reindex）和跨集群数据迁移，阿里云Elasticsearch提供了一键索引迁移功能。本文介绍一键索引迁移功能的应用场景及使用方法。前提条件 已创建满足条件的源和目标端Elasticsearch...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
迁移HDFS数据到OSS
如果您使用的是自建ECS集群，需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。步骤一：下载JAR包 登录EMR集群。登录 EMR on ECS控制台。单击创建的EMR集群。单击 节点管理 页签，然后单击节点组左侧的。单击ECS ID。在ECS...
怎么获取自建应用信息
怎么获取自建应用信息？操作路径：企业微信管理后台>应用管理>应用>自建>已创建的自建应用 操作说明：1、找到已创建的自建应用 2、获取取自建应用名称、AgentId、Secret、Token、EncodingAESKey
调整全量迁移速率
源库 目标库 自建MySQL RDS MySQL 自建MySQL RDS MySQL MaxCompute 自建PostgreSQL RDS PostgreSQL 自建PostgreSQL RDS PostgreSQL 自建Oracle 自建Oracle 自建MySQL RDS MySQL 自建PostgreSQL RDS PostgreSQL PolarDB兼容Oracle语法的引擎...
E-MapReduce数据迁移方案
新旧集群网络打通 线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡，或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离，E-...
创建数据库数据源概述
云数据源Alibaba Lindorm宽表 IBM DB2 LUW 自建数据源IBM DB2 LUW Vertica 自建数据源Vertica Alibaba LindormTSDB 云数据源Alibaba LindormTSDB Alibaba OceanBase 云数据源Alibaba OceanBase SAP IQ(Sybase IQ)自建数据源SAP IQ（Sybase ...
数据迁移
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute，详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute，详情请参见 迁移消息队列...
接入数据库实例
功能说明 DAS支持接入阿里云数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库（包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等）。对于阿里云数据库，创建实例后会自动接入DAS，无需手动接入。功能限制 ...
异构数据源访问
当目标数据源为自建Hadoop集群，选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验，提示网络连通。单击下一步，填写 配置文件。参数 说明 获取方式 参数配置 无 ...
应用场景
云上只读 用户自建（IDC自建、ECS自建）作为源实例，RDS PostgreSQL作为云上的只读实例，扩展读取能力，分担负载。云上灾备 用户自建（IDC自建、ECS自建）源实例故障时，RDS PostgreSQL支持手动强制切换为主库，业务延续读写能力。阿里云...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
Quick BI自建数据源是否可以通过域名连接
概述 本文为您介绍Quick BI自建数据源是否可以通过域名进行连接。详细信息 Quick BI自建数据源目前MySQL、Oracle、SQL Server必须使用IP进行连接，其他自建数据源暂无该要求。适用于 Quick BI（公共云）
- 产品推荐
- 这些文档可能帮助您