CreateNodeGroup-创建节点组
9E3A7161-EB7B-172B-8D18-FFB06BA3*示例 正常返回示例 JSON 格式 {"NodeGroupId":"G-21E39B11837E*","RequestId":"9E3A7161-EB7B-172B-8D18-FFB06BA3*"} 错误码 HTTP status code 错误码 错误信息 描述 400 ConflictParameters Parameters ...
删除作业
RequestId String 549175a-6d14-4c8a-89f9-5e28300f6d7e 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteFlowJob&Id=FJ-BBCAE48B90CC*&ProjectId=FP-257A173659F5*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
创建工作流
调用CreateFlowForWeb接口，创建工作流。调试 您可以在OpenAPI Explorer中直接...925D-4C3E-9994-8D12F7A9F538</RequestId><Id>F-7A39731FE719*</Id>JSON 格式 {"RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538","Id":"F-7A39731FE719*"}
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
OSS参考使用说明
本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...
通过模版创建集群
Action=CreateClusterWithTemplate&TemplateBizId=CT-35498C56B3F1*&<公共请求参数>正常返回示例 XML 格式<ClusterId>C-D7958B72E59B*</ClusterId><RequestId>BF4FBAC6-B03E-4BFB-B6DB-EB53C34F*</RequestId>JSON 格式 {"ClusterId":"C-D...
克隆工作流
RequestId String 12E7685E-C7A2-4BED-878B-07AF5BAD475F 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CloneFlow&Id=F-8C1EB0C6452A*&ProjectId=FP-53C4D36FC731*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
使用kubectl管理作业
您可以在EMR on ACK控制台管理您的...b6a43b55-a354-44d7-ae5e-45b8b1493edb/spark-56aae0d1-37b9-4a7d-9c99-4e4ca12deb4b 21/07/22 14:37:57 INFO ShutdownHookManager:Deleting directory/tmp/spark-e2500491-6ed7-48d7-b94e-a9ebeb899320
查询伸缩组详情
{"Description":"这是一个示例","HostGroupBizId":"G-5011FB3E4928*","RequestId":"C390A685-2707-4F42-BCFA-E4BC40E4B7A3","ConfigState":"APPLIED","ScalingInMode":"DEFAULT","ScalingGroupId":"SGB-16ABA17988F39*","ScalingMaxSize":...
开发参考
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
自定义Source
{} body:31 34 3A 34 34 3A 32 39 2E 37 30 39 14:44:29.709 } 2021-07-16 14:44:31,709(SinkRunner-PollingRunner-DefaultSinkProcessor)[INFO-org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)]Event:{ headers:{} body:31...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
创建资源队列
ClusterId String 是 C-0E995C0EE7E5*集群ID。您可以调用 ListClusters 查看集群的ID。Config.N.Category String 是 QUEUE_RESOURCE_LIMIT 参数类别。Config.N.ConfigKey String 是 capacity 参数Key。Config.N.ConfigValue String 是 100 ...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
SDK下载
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency><groupId>...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
修改集群名称
Id String 是 C-D7958B72E59B*集群ID。您可以调用 ListClusters 接口查看集群的ID。Name String 是 bi_hadoop 集群新的名称，要求和创建集群时一致。长度限制为1-64个字符，只允许包含中文、字母、数字、短划线（-）和下划线（_）。...
概述
创建Kafka集群 如果需要新建包含Kafka的集群，请登录E-MapReduce新版控制台创建DataFlow类型集群，创建集群详情请参见 创建DataFlow Kafka集群。本地盘Kafka集群 当在本地盘上部署Kafka服务时，您需要在E-MapReduce控制台的 配置 页面，...
Zeppelin常见问题
E-MapReduce的Hadoop集群上的Zeppelin与开源版本一致，没有对接LDAP。如何设置Zeppelin Note的权限？您可以在Zeppelin页面，单击 图标，设置权限。Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。...
回滚配置
E-MapReduce支持在控制台对各服务参数新增、修改、删除配置项等操作进行配置回滚。本文为您介绍如何通过E-MapReduce控制台回滚各服务的参数配置。前提条件 已对服务配置进行实际的操作变更。操作步骤 进入集群服务页面。登录 E-MapReduce...
查看资源池策略类型
44AE-8B4E-021CBCA3A26C</RequestId><DefaultSchedulerType>CAPACITY_SCHEDULER</DefaultSchedulerType><CurrentSchedulerType/>JSON 格式 {"SupportSchedulerType":"CAPACITY_SCHEDULER,FAIR_SCHEDULER","RequestId":"7DEE7967-3F9E-44AE-...
计费常见问题
本文汇总了E-MapReduce（简称EMR）计费的常见问题。E-MapReduce是否支持自动续费？如何查看EMR集群和所属的ECS实例的到期时间？EMR集群已到期但是集群的ECS实例未到期时，会产生计费吗？如何解决？EMR计费模式是否可以转换？我确认订单后未...
查询节点实例详情
E548777B9DCD*</Id><Pending>false</Pending></data><requestId>F5540D8F-06E8-4E3C-B47A-D75CED72A795</requestId>JSON 格式 {"data":{"FailAct":"STOP","EndTime":1542884476000,"NodeName":"812589f5","GmtModified":1542884475000,...
使用CLI提交Presto作业
前提条件 已在E-MapReduce on ACK控制台创建Presto集群，详情请参见 快速入门。已添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 角色授权。已配置Presto集群admin用户的密码，详情请参见 配置集群管理密码。操作步骤 下载...
使用E-MapReduce进行MySQL Binlog日志准实时传输
本文介绍如何利用阿里云SLS插件功能和E-MapReduce集群进行MySQL Binlog的准实时传输。前提条件 已在E-MapReduce上创建Hadoop集群，详情请参见 创建集群。已创建MySQL类型的数据库（例如RDS或DRDS）。MySQL必须开启Binlog，且Binlog必须为...
退款说明
本文介绍阿里云E-MapReduce的退款规则和退款方式。退款规则与方式 计费方式 退款规则 退款方式 包年包月 包年包月的集群在购买时已经根据购买时长预先支付了费用。在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例...
集群缩容
ClusterId String 是 C-D7958B72E59B*集群ID。您可以调用 ListClusters 查看集群的ID。HostGroupId String 是 G-EF460256A55F*机器组ID。您可以调用 ListClusterHostGroup 查看机器组ID。RegionId String 是 cn-hangzhou 地域ID。您可以...
EMR Notebook公测说明
您可以在 E-MapReduce控制台，选择 EMR Workbench>Notebook，进入EMR Notebook页面创建工作空间并进行测试。重要 公测期间您可以免费试用EMR Notebook服务，但EMR Notebook工作流运行时需要关联EMR集群、添加EMR集群下的数据源，创建或使用...
释放集群
返回数据 名称 类型 示例值 描述 RequestId String BF4FBAC6-B03E-4BFB-B6DB-EB53C34F2E22 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ReleaseCluster&Id=C-D7958B72E59B*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML ...
Superset（仅对存量用户开放）
因为E-MapReduce Druid也支持SQL，所以您可以通过Superset以两种方式访问E-MapReduce Druid，即Apache Druid原生查询语言和SQL方式。前提条件 已创建E-MapReduce（简称EMR）的Hadoop或Druid集群，并选择了Superset服务，详情请参见 创建...
Ranger概述
登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群的集群名称。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击Ranger UI所在行的链接。在Ranger UI登录界面，输入...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
开发准备
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...
Hive概述
背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求，支持多客户端并发...
STREAM语句
背景信息 E-MapReduce支持SET和STREAM两种方法配置WriteStream参数，推荐使用STREAM方法配置WriteStream的必要参数，包括checkpointLocation、outputMode、triggerType和triggerIntervalMs。语法 CREATE STREAM queryName OPTIONS...
删除项目集群设置
ProjectId String 是 FP-E3F1523F8FC1*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
常见问题
当您使用阿里云E-MapReduce（简称EMR）时，可以根据本文查找对应的问题场景和解决方案。计费常见问题 集群管理常见问题 组件常见问题：HDFS常见问题 YARN常见问题 Hudi常见问题 Hive常见问题 HBase常见问题 Kudu常见问题 Spark常见问题 ...
在Hue WebUI使用HBase服务
登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，单击相应集群所在行的 详情。修改配置。在左侧导航栏中，选择 集群服务>Hue。在 配置搜索 区域，搜索 app_...
- 产品推荐
- 这些文档可能帮助您