扩容集群
登录 阿里云E-MapReduce控制台。单击上方的 集群管理 页签。在 集群管理 页面的集群列表中，单击对应集群所在行的 详情。单击左侧导航栏的 主机列表。在 主机列表 页面，可查看新增的节点。集群的Task机器组的GroupId为G-C73605CF4382*。...
创建阈值报警规则
云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...
E-MapReduce快速入门
本文为您介绍如何通过阿里云账号登录E-MapReduce（简称EMR）控制台，快速创建一个DataLake集群并执行作业。...说明 根据阿里云ECS的规则，您在购买按量付费实例时，需要保证阿里云...常见问题 了解使用阿里云E-MapReduce的常见问题：常见问题。
实践教程
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 基于DataFlow集群的Flink服务使用...
使用E-MapReduce采集Kafka客户端Metrics数据
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
Spark对接MNS
从E-MapReduce SDK 1.3.2版本开始，Spark Streaming可以基于MetaService实现免AccessKey处理MNS数据。具体可以参见E-MapReduce SDK中的MnsUtils类说明。MnsUtils.createPullingStreamAsBytes(ssc,queueName,endpoint,storageLevel)MnsUtils...
SLA更新公告
阿里云E-MapReduce将于2024年03月1日0时起，更新 E-MapReduce服务等级协议，新版SLA丰富了“1.5 有效请求”的定义，添加 CreateCluster-创建集群、IncreaseNodes-扩容、DecreaseNodes-缩容、弹性伸缩 接口请求。请您留意条款变更，如有问题...
EMR-3.22.x版本说明
外部客户端支持 客户端SDK提供了E-MapReduce集群外访问E-MapReduce JindoFS 的文件系统的能力，通过客户端可以访问Block模式的Namespace，但外部客户端不能利用到E-MapReduce JindoFS在E-MapReduce集群内部构建的数据缓存，性能上相对于E-...
修改项目集群设置
RequestId String 5ECD6EA1-838E-4BDF-96C8-AEAA40F04F48 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ModifyFlowProjectClusterSetting&ClusterId=C-FDB726F71863*&ProjectId=FP-179332E88F52*&RegionId=cn-hangzhou &<公共请求...
EMR StarRocks FE日志文件修复公告
本文为您介绍E-MapReduce（简称EMR）StarRocks FE日志文件无法自动清理的影响以及修复流程。影响 问题说明：StarRocks FE历史版本日志配置错误，导致不支持自动清理软链接日志目录，可能会出现FE日志目录写满的问题。影响版本：EMR-5.10.x...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
创建项目集群设置
ProjectId String 是 FP-ED2F3E844FE3*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。DefaultUser String 否 hadoop 默认Linux提交...
查询集群机器组列表
RequestId String BF4FBAC6-B03E-4BFB-B6DB-EB53C34F2E22 请求ID。Total Integer 15 查询总数。示例 请求示例 http(s):/[Endpoint]/?Action=ListClusterHostGroup&ClusterId=C-D7958B72E59B*&RegionId=cn-hangzhou &<公共请求参数>正常返回...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
Hive基础操作
本文介绍如何通过Hive在E-MapReduce集群上创建库和表等操作。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。进入Hive命令行 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，切换为hadoop用户。su-hadoop 执行...
SmartData使用说明（EMR-3.20.0~3.22.0版本）
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
EMR on ACK计费说明
计费资源 2024年04月01日起阿里云E-MapReduce（简称EMR）on ACK正式商业化。阿里云EMR on ACK正式商业化后，将根据集群实际使用的POD资源规格和数量，计算每小时需支付的服务费，收费标准如下表所示。计费项 单价（元/小时）vCPU 0.03528 ...
安装SDK
本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装 通过pip进行安装。sudo pip install aliyun-python-sdk-emr 如果需要升级E-MapReduce Python SDK。sudo pip install aliyun-python-sdk-emr-upgrade 卸载SDK。sudo pip ...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
旧版控制台文档说明
该目录下的文档仅适用于旧版控制台，E-Mapreduce（简称EMR）计划分阶段下线旧版控制台，详情请参见 EMR旧版控制台下线公告。建议您切换至 EMR新版控制台 管理集群，相应新版文档如下：集群管理：详情请参见 集群管理。监控大盘：作业大盘：...
Shell作业配置
通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Shell类型作业。在页面左侧，在需要操作的文件夹上单击右键，选择 新建...
产品计费
E-MapReduce（简称EMR）包括基于ECS实例、ACK集群以及Serverless架构在内的多种部署模式。每种部署形态均有其独特的计费准则。本文旨在为您提供一份EMR不同部署方式下的计费指南索引。产品计费索引 产品形态 计费文档 EMR on ECS 计费概述 ...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
Hadoop MapReduce作业配置
hadoop jar/path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep-m 3-r 3-mt 100-rt 100 而在E-MapReduce中配置这个作业，则应在 作业内容 输入框中填写以下内容。path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests....
查询项目设置详情
500159692</Host></HostList><UserList></UserList><QueueList></QueueList></data><requestId>80F270E8-27BD-4F24-BB2A-CD3FBCC450DA</requestId>JSON 格式 {"data":{"DefaultUser":"hadoop","GmtCreate":1541561123000,"RequestId":"80F...
Hue对接LDAP
本文以Hue对接E-MapReduce自带的OpenLDAP为例，介绍如何配置Hue后端对接LDAP，并通过LDAP进行身份验证。自建的LDAP请您根据实际情况修改参数。操作步骤 进入服务配置。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件 已在E-MapReduce控制台创建集群，详情请参见 创建集群。使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
EMR Notebook角色授权
授权操作 登录E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench>Notebook。在依赖检查页面，单击 去授权。单击 同意授权。授权后，EMR Notebook拥有对您云资源相应的访问权限。策略内容 AliyunEMRNotebookDefaultRole对应的权限策略为...
常见命令
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Kudu命令来操作。本文为您介绍Kudu的常见命令。前提条件 已创建集群，并且选择了Kudu服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。查看Master列表 语法 kudu ...
使用Python3 Kernel运行EMR PySpark
在E-MapReduce的JupyterHub中，您可以直接运行Python任务，也可以通过Python3 Kernel中的魔术命令PySpark和SQL运行任务。本文通过示例为您介绍如何运行Python3 Kernel任务，以及Python3 Kernel中的魔术命令PySpark和SQL中的参数。前提条件 ...
Kafka元数据管理
登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 基本配置 区域，配置各项参数。可选...
创建工作流目录文件夹
RequestId String 2670BCFB-925D-4C3E-9994-8D12F7A9F538 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlowCategory&Name=myFolder&ProjectId=FP-AC84F265C8E4*&RegionId=cn-hangzhou &Type=FLOW &<公共请求参数>正常返回...
访问OSS出现AccessDenied问题
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因...问题详情 Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635B6DDE9A1F093434AC6A7C[HostId]:oss-cn-beijing-internal.aliyuncs.com [ErrorMessage]:[E1010]...
创建Data Science集群
本文为您介绍如何通过阿里云账号登录E-MapReduce控制台，基于Kubernetes创建EMR集群。前提条件 已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 角色授权。已创建Kubernetes（ACK）集群，详情请参见 创建Kubernetes...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
Spark对接RocketMQ
AND_DISK_2,func)} val unionStreams=ssc.union(onsStreams)unionStreams.foreachRDD(rdd=>{ rdd.map(bytes=>new String(bytes)).flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_).collect().foreach(e=>println(s...
加入资源组
资源是您在阿里云创建的云服务实体，E-MapReduce支持资源组的云资源为集群和项目。在集群加入一个资源组时，集群每个节点ECS实例会同步加入集群所属资源组。资源组是项目、环境或者栈的基础设施集合，在资源组里管理资源能集中监控和执行...
缩容集群
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。使用限制 支持对EMR集群的Task节点缩容，集群还需满足以下条件：EMR集群版本5.x高于5.6.0，3.x高于3.2.0。集群状态...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
- 产品推荐
- 这些文档可能帮助您