实践教程
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 基于DataFlow集群的Flink服务使用...
Tez
与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示：Tez的详细信息，请参见 Apache TEZ。开启Tez引擎 Hive支持使用Tez引擎执行SQL任务，在执行任务前您...
SLA更新公告
阿里云E-MapReduce将于2024年03月1日0时起，更新 E-MapReduce服务等级协议，新版SLA丰富了“1.5 有效请求”的定义，添加 CreateCluster-创建集群、IncreaseNodes-扩容、DecreaseNodes-缩容、弹性伸缩 接口请求。请您留意条款变更，如有问题...
EMR-3.22.x版本说明
外部客户端支持 客户端SDK提供了E-MapReduce集群外访问E-MapReduce JindoFS 的文件系统的能力，通过客户端可以访问Block模式的Namespace，但外部客户端不能利用到E-MapReduce JindoFS在E-MapReduce集群内部构建的数据缓存，性能上相对于E-...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
安装SDK
本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装 通过pip进行安装。sudo pip install aliyun-python-sdk-emr 如果需要升级E-MapReduce Python SDK。sudo pip install aliyun-python-sdk-emr-upgrade 卸载SDK。sudo pip ...
旧版控制台文档说明
该目录下的文档仅适用于旧版控制台，E-Mapreduce（简称EMR）计划分阶段下线旧版控制台，详情请参见 EMR旧版控制台下线公告。建议您切换至 EMR新版控制台 管理集群，相应新版文档如下：集群管理：详情请参见 集群管理。监控大盘：作业大盘：...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
产品计费
E-MapReduce（简称EMR）包括基于ECS实例、ACK集群以及Serverless架构在内的多种部署模式。每种部署形态均有其独特的计费准则。本文旨在为您提供一份EMR不同部署方式下的计费指南索引。产品计费索引 产品形态 计费文档 EMR on ECS 计费概述 ...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件 已在E-MapReduce控制台创建集群，详情请参见 创建集群。使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不...
Kafka元数据管理
登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 基本配置 区域，配置各项参数。可选...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
缩容集群
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。使用限制 支持对EMR集群的Task节点缩容，集群还需满足以下条件：EMR集群版本5.x高于5.6.0，3.x高于3.2.0。集群状态...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
概述
E-MapReduce增强型Druid E-MapReduce Druid基于Apache Druid做了大量的改进，包括与E-MapReduce和阿里云周边生态的集成、方便的监控与运维支持、易用的产品接口等，实现即买即用和7*24免运维。E-MapReduce Druid目前支持的特性如下所示：...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
SmartData使用说明（EMR-3.20.0~3.22.0版本）
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
续费说明
手动续费 E-MapReduce控制台手动续费 登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>StarRocks。在顶部菜单栏处，根据实际情况选择地域。单击目标实例 操作 列的 续费。在弹出的对话框中，设置续费时长。单击 确定，并根据...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘和系统盘）扩容。本文为您介绍如何对磁盘进行扩容。背景信息 根据E-MapReduce版本和磁盘属性不同，E-MapReduce支持的磁盘扩容方式也不同，具体说明如下：数据盘：...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
管理尽力交付
在执行E-MapReduce（简称EMR）集群节点扩容操作中，开启尽力交付功能后，如果遇到ECS资源库存不足或ECS部署失败异常等情况，系统会竭尽全力交付所有成功创建的节点到集群中，以维持整体业务的顺畅运行。前提条件 已创建数据湖（DataLake）...
管理健康检查项
E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件的健康状态会同步变化，以便用户快速定位问题。本文介绍如何查看健康检查项，并根据实际需求自定义...
重启服务
创建E-MapReduce集群时，不同类型集群的实例节点上会部署不同的服务。集群创建成功并正常运行后，您可以管理集群服务，包括新增、配置、启动、停止或重启服务。本文为您介绍如何在E-MapReduce控制台重启服务。前提条件 已创建集群，详情请...
支持管理健康检查项
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件...
使用E-MapReduce进行MySQL Binlog日志准实时传输
本文介绍如何利用阿里云SLS插件功能和E-MapReduce集群进行MySQL Binlog的准实时传输。前提条件 已在E-MapReduce上创建Hadoop集群，详情请参见 创建集群。已创建MySQL类型的数据库（例如RDS或DRDS）。MySQL必须开启Binlog，且Binlog必须为...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
常见问题
通过E-MapReduce控制台的 用户管理 模块创建的用户登录Web UI时，默认为User角色，无法访问Connections和Variables等界面。您可以按照以下步骤为角色添加admin权限后，即可正常访问Connections和Variables等界面。执行以下命令，进入...
Kafka Indexing Service
本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件 已创建E-MapReduce的Druid集群和Kafka集群，详情请参见 创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...
按量付费转包年包月
创建阿里云E-MapReduce的按量付费集群后，您可以将计费模式转为包月，提前预留资源，享受更大的价格优惠。本文介绍如何将按量付费集群转换为包月集群。前提条件 待转换的按量付费集群需要满足以下条件：归属于您的账号下。不能有未支付的...
管理LDAP认证
开启LDAP功能对接的LDAP为E-MapReduce自带的OpenLDAP。开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。本文为您介绍如何一键开启和关闭LDAP认证。前提条件 已创建Hadoop集群，详情请参见 创建集群。使用限制 EMR-3.34.0...
管理用户
本文为您介绍如何通过E-MapReduce（简称EMR）的用户管理功能，管理集群中的EMR用户。背景信息 EMR用户信息存储在集群自带的OpenLDAP中，主要用于E-MapReduce集群内的身份认证。EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户...
示例项目使用说明
本文介绍的项目都是完整的可编译可运行的项目，包括MapReduce、Pig、Hive和Spark。示例项目 示例名称如下所示，详情代码示例请参见 集群运行。MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS...
- 产品推荐
- 这些文档可能帮助您