E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
E-MapReduce服务等级协议（SLA）
本服务等级协议（Service Level Agreement，简称“SLA”）规定了阿里云向客户提供的E-MapReduce（简称“EMR”）的服务可用性等级指标及赔偿方案。服务等级协议详情请参见 E-MapReduce服务等级协议。
计费概述
本文介绍阿里云E-MapReduce的计费项、计费方式、转换计费方式、续费说明、欠费说明、查看消费明细、退费说明、查看账单和计费常见问题。相关项 描述 相关文档 计费项 为您介绍E-MapReduce的计费项，以及相关计算公式，以便您对支付的费用...
计费项
本文为您介绍E-MapReduce的计费项和计费方式，以便您对支付的费用组成有所了解。计费说明 E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。重要 实际价格请以产品购买页面为准。计费项 计费说明及...
E-MapReduce Workflow服务等级协议（SLA）
E-MapReduce Workflow服务等级协议（SLA）的详情，请参见 E-MapReduce Workflow服务等级协议。
查询工作流目录
ProjectId String 是 FP-6E8E198E6C79*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。ParentId String 否 FC-6E8E198E6C79*父目录ID。...
获取目录树
F-E9DC5533695C*","objectType":"FLOW"},"children":[],"childrenMap":{} },"FC-296E3BB9491E39F2":{"node":{"categoryType":"FILE","gmtModified":1540796206000,"name":"flow-hive","id":"FC-296E3BB9491E*","gmtCreate":1540796206000,...
服务支持
本文档汇总了E-MapReduce的产品公告、发布记录、常见问题和服务等级协议等内容。产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA...
为RAM用户授权
为确保RAM用户能正常使用E-MapReduce控制台功能，您需要使用阿里云账号登录访问控制RAM（Resource Access Management）控制台，授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。...
编辑作业
{"RequestId":"01B0A835-C6AB-4166-8E43-511514D8FAE0","Id":"FJ-E4157D27791D*"} 执行作业。调用SubmitFlowJob提交运行作业，每次只允许存在一个正在运行的实例，以下的几个参数是必须要填写的。参数 描述 ClusterId 执行作业的集群ID。...
快速入门
如果您是初次使用E-MapReduce，请参见快速入门文档，以帮助您快速了解如何购买和使用E-MapReduce。标题 EMR on ECS EMR on ECS快速入门 E-MapReduce快速入门 EMR on ACK快速入门 EMR Serverless StarRocks 快速使用EMR Serverless ...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
管理项目
} catch(ClientException e){ System.out.println("ErrCode:"+e.getErrCode());System.out.println("ErrMsg:"+e.getErrMsg());System.out.println("RequestId:"+e.getRequestId());} } } 在返回结果中找到项目ID。{"RequestId":"BF47231B-...
阿里云账号角色授权
阿里云E-MapReduce服务（例如Hadoop和Spark），在运行时需要有访问其他阿里云资源和执行操作的权限。每个E-MapReduce集群必须有服务角色以及ECS应用角色。本文为您介绍EMR角色授权的流程及其关联的角色。背景信息 阿里云E-MapReduce为确定...
查询目录信息
037D9C53348E</RequestId>JSON 格式 {"Data":{"ParentId":"FC-198D4E3ACA4F*","ObjectType":"FLOW","Type":"FLOW","GmtCreate":1541858202000,"RequestId":"BBEB8FD9-3AA8-4D53-831C-037D9C53348E","ObjectId":"F-33FA7CD5E195*",...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
选型配置说明
选择合适的集群是E-MapReduce产品使用的第一步。E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持...
查询节点实例的容器状态详情
RequestId String E82E504E-F1A8-4D05-AA8F-360BD9DF423A 请求ID。Total Integer 1 总数。示例 请求示例 http(s):/[Endpoint]/?Action=ListFlowNodeInstanceContainerStatus&NodeInstanceId=FNI-FE4BD156E939*&ProjectId=FP-AC84F265C8E4*&...
操作指南
您可以在E-Mapreduce控制台创建和管理集群或实例等操作。形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心 E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作 EMR ...
修改工作流
ParentFlowList String 否 F-62ECFC6E1BF6EAD2,F-1E6528634E67B615,F-7E0A84332E9D9A89 依赖的上游工作流ID列表，以逗号分隔。ParentCategory String 否 FC-FC396F988E07C06F 父目录ID，空则默认为root目录。返回数据 名称 类型 示例值 ...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业...架构图 方案详情 详情请参见 E-MapReduce弹性低成本离线大数据分析最佳实践。icmsDocProps={'productMethod':'created','language':'zh-CN',};
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
使用Druid
EMR-3.11.0及其后续版本，E-MapReduce支持Druid作为单独的一种集群类型。背景信息 E-MapReduce将Druid作为单独的集群类型，主要基于以下几方面的考虑：E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下，E-MapReduce Druid对...
集群扩容
调用ResizeClusterV2接口，实现集群扩容。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算...4BFB-B6DB-EB53C34F2E22</RequestId>JSON 格式 {"ClusterId":"C-D7958B72E59B*","RequestId":"BF4FBAC6-B03E-4BFB-B6DB-EB53C34F2E22"}
CreateNodeGroup-创建节点组
9E3A7161-EB7B-172B-8D18-FFB06BA3*示例 正常返回示例 JSON 格式 {"NodeGroupId":"G-21E39B11837E*","RequestId":"9E3A7161-EB7B-172B-8D18-FFB06BA3*"} 错误码 HTTP status code 错误码 错误信息 描述 400 ConflictParameters Parameters ...
删除作业
RequestId String 549175a-6d14-4c8a-89f9-5e28300f6d7e 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteFlowJob&Id=FJ-BBCAE48B90CC*&ProjectId=FP-257A173659F5*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
创建工作流
ParentFlowList String 否 F-62ECFC6E1BF6EAD2,F-1E6528634E67B615,F-7E0A84332E9D9A89 依赖的上游工作流列表，以逗号分隔。您可以调用 ListFlowInstance 查看工作流ID。ParentCategory String 否 FC-F2495319DA05*父目录ID。您可以调用 ...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
OSS参考使用说明
本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...
通过模版创建集群
Action=CreateClusterWithTemplate&TemplateBizId=CT-35498C56B3F1*&<公共请求参数>正常返回示例 XML 格式<ClusterId>C-D7958B72E59B*</ClusterId><RequestId>BF4FBAC6-B03E-4BFB-B6DB-EB53C34F*</RequestId>JSON 格式 {"ClusterId":"C-D...
克隆工作流
RequestId String 12E7685E-C7A2-4BED-878B-07AF5BAD475F 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CloneFlow&Id=F-8C1EB0C6452A*&ProjectId=FP-53C4D36FC731*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
使用kubectl管理作业
您可以在EMR on ACK控制台管理您的...b6a43b55-a354-44d7-ae5e-45b8b1493edb/spark-56aae0d1-37b9-4a7d-9c99-4e4ca12deb4b 21/07/22 14:37:57 INFO ShutdownHookManager:Deleting directory/tmp/spark-e2500491-6ed7-48d7-b94e-a9ebeb899320
查询伸缩组详情
{"Description":"这是一个示例","HostGroupBizId":"G-5011FB3E4928*","RequestId":"C390A685-2707-4F42-BCFA-E4BC40E4B7A3","ConfigState":"APPLIED","ScalingInMode":"DEFAULT","ScalingGroupId":"SGB-16ABA17988F39*","ScalingMaxSize":...
开发参考
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
自定义Source
{} body:31 34 3A 34 34 3A 32 39 2E 37 30 39 14:44:29.709 } 2021-07-16 14:44:31,709(SinkRunner-PollingRunner-DefaultSinkProcessor)[INFO-org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)]Event:{ headers:{} body:31...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
创建资源队列
ClusterId String 是 C-0E995C0EE7E5*集群ID。您可以调用 ListClusters 查看集群的ID。Config.N.Category String 是 QUEUE_RESOURCE_LIMIT 参数类别。Config.N.ConfigKey String 是 capacity 参数Key。Config.N.ConfigValue String 是 100 ...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
SDK下载
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency><groupId>...
- 产品推荐
- 这些文档可能帮助您