EMR-3.37.x版本说明
YARN 节点Containers REST API增加了appId，CPU和Memory资源使用信息。修复了弹性伸缩释放节点上AM日志无法查看的问题。支持弹性伸缩Decommission后清理释放的节点。完善了弹性伸缩Graceful Decommission的操作逻辑，待NM进程结束后再标记...
样例代码
request.set_ClusterId("C-01A1F4A*")request.set_ServiceName("YARN")request.set_ConfigParams('{"yarn-site":{"yarn.resourcemanager.nodes.exclude-path":"/etc/ecm/hadoop-conf/yarn-exclude.xml"}}')request.set_Comment('for ...
SmartData常见问题
阿里云OSS是对象存储系统，提供基于对象语义的REST API和各种语言SDK封装。JindoFS主要是对阿里云OSS提供HCFS（Hadoop Compatible FileSystem）接口封装，并且在此基础上提供缓存加速能力和高级优化定制的功能。因为Hadoop和Spark生态组件...
EMR-5.3.x版本说明
YARN 节点Containers REST API增加了appId，CPU和Memory资源使用信息。修复了弹性伸缩释放节点上AM日志无法查看的问题。修复了State Store历史数据造成集群不可用的问题。支持弹性伸缩Decommission后清理释放的节点。完善了弹性伸缩...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
迁移方案
您可以根据需要配置YARN队列的资源等，之后可通过YARN的REST API来访问YARN作业状态，并进行运维。日志查看 对于运行中的作业，可以通过Flink Web UI进行查看，详细信息请参见 基础使用。对于已经运行结束的作业，可以通过Flink History ...
数据导入常见问题
报错“yarn client does not exist in path:xxx/yarn-client/hadoop/bin/yarn”，该如何解决？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错原因 该问题主要是数据导入频率太快，数据没能及时合并...
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
EMR-4.10.x版本说明
YARN 节点Containers REST API增加了appId，CPU和Memory资源使用信息。修复了弹性伸缩释放节点上AM日志无法查看的问题。修复了State Store历史数据造成集群不可用的问题。支持弹性伸缩Decommission后清理释放的节点。完善了弹性伸缩...
X-Pack高级特性
数据静态加密支持 基于角色的访问控制 字段级和文档级安全性 审计日志 IP筛选 Security Realm 单点登录SSO 第三方安全性集成 客户端 RESTAPI 语言客户端 Console DSL SQL 时间查询语言EQL JDBC客户端 ODBC客户端 采集和扩充 数据源 操作...
常见问题
hadoop jar<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount \-Dalluxio.user.file.writetype.default=CACHE_THROUGH \-libjars/<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \<path1><path2>...
CDH6数据迁移
在搜索框中输入mapreduce.application.classpath进行搜索，在搜索结果的 MR应用程序Classpath 区域中，单击 添加$HADOOP_HDFS_HOME/*配置。单击 保存更改。配置 文件存储 HDFS 版 Java SDK。下载最新的 文件存储 HDFS 版 Java SDK（aliyun-...
Spark批式读写Iceberg
本文以Spark 3.x操作Iceberg表为例，介绍如何通过Spark DataFrame API以批处理的方式读写Iceberg表。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群。操作...
查询项目设置详情
调用DescribeFlowProjectClusterSetting接口，查询项目设置详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
网络开通流程
访问高德服务，需要提供的网络配置信息为 restapi.amap.com:443,restapi.amap.com:80 。MaxCompute技术支持团队接收到提交的申请信息后，会进行审核并完成配置。确认处理完毕后（通常处理周期为3个工作日），即可继续执行后续步骤。若对...
配置CDH6使用文件存储 HDFS 版
在搜索框中输入mapreduce.application.classpath进行搜索，在搜索结果的 MR应用程序Classpath 区域中，检查确认已添加$HADOOP_HDFS_HOME/*配置。如果上述区域中没有$HADOOP_HDFS_HOME/*配置，请单击 添加，然后单击 保存更改。配置mapred-...
EMR-3.34.x版本说明
YARN 修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN WebUI时，需要在URL里显式指定user.name=name的问题。Zookeeper 升级至3.6.2版本。Flink 初始化时更新 config.sh 文件，修复HADOOP_CLASSPATH的问题。...
配置弹性伸缩（仅Hadoop集群类型）
重要 开启优雅下线时，请先将YARN配置项 yarn.resourcemanager.nodes.exclude-path 的值修改为/etc/ecm/hadoop-conf/yarn-exclude.xml。修改超时时间后，请在业务低峰期重启YARN ResourceManager，以使修改后的超时时间生效。在 弹性伸缩...
常见问题排查
例如：您可以执行以下命令重启YARN：${HADOOP_HOME}/sbin/stop-yarn.sh${HADOOP_HOME}/sbin/start-yarn.sh 提示 No FileSystem for scheme:dfs 信息 执行 hadoop 命令行或者任务失败，提示 No FileSystem for scheme:dfs 信息时，请按如下...
创建EMR Shell节点
Yarn组件：hadoop、hdfs、yarn。Spark组件：spark-submit。Sqoop组件：sqoop-export、sqoop-import、sqoop-import-all-tables等。说明 使用该组件时，您需要在RDS白名单中添加资源组的IP信息。如果您需要修改代码中的参数赋值，请单击界面...
EMR-4.8.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.4.0 Bigboot 3.4.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.3.4 Zookeeper 3.5.6 ...
新建SPARK_JAR_ON_MAX_COMPUTE任务
v2-conf spark.hadoop.odps.end.point=http://service.cn.maxcompute.aliyun.com/api--conf spark.hadoop.odps.runtime.end.point=http://service.cn.maxcompute.aliyun-inc.com/api--masteryarn spark.py 说明 resource_reference{} 为引用...
新建SPARK_JAR_ON_MAX_COMPUTE任务
v2-conf spark.hadoop.odps.end.point=http://service.cn.maxcompute.aliyun.com/api--conf spark.hadoop.odps.runtime.end.point=http://service.cn.maxcompute.aliyun-inc.com/api--masteryarn spark.py 说明 resource_reference{} 为引用...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件...{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动YARN服务。
搭建Linux开发环境
spark.hadoop.odps.project.name=<MaxCompute_project_name>spark.hadoop.odps.access.id=<AccessKey_id>spark.hadoop.odps.access.key=<AccessKey_secret>spark.hadoop.odps.end.point=<Endpoint>#Spark客户端连接访问MaxCompute项目的...
创建EMR MR节点
hadoop emr hadoop dw hive hadoop dw emr 创建初始数据及JAR资源的存放目录。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表 单击目标Bucket名称，进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录，创建...
运行模式
.config("spark.hadoop.odps.access.id","<accesskey_id>").config("spark.hadoop.odps.access.key","<accesskey_secret>").config("spark.hadoop.odps.end.point","http://service.cn.maxcompute.aliyun.com/api")....
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
E-MapReduce快速入门
可选服务 HADOOP-COMMON、OSS-HDFS、YARN、Hive、Spark3、Tez、Knox和OpenLDAP。根据您的实际需求选择组件，被选中的组件会默认启动相关的服务进程。说明 除过集群默认的服务，还需选择Knox和OpenLDAP服务。允许采集服务运行日志 开启 支持...
查询项目集群设置列表
调用ListFlowProjectClusterSetting接口，查询项目集群设置列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
EMR-3.39.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 Iceberg 0.13.0 DLF-Auth 1.0.4 Hudi 0.10.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK 4.0.0 Spark 3.2....
Spark-2.x示例
配置Spark-2.x的依赖 通过MaxCompute提供的Spark客户端提交应用时，需要在 pom.xml 文件中添加以下依赖。pom.xml 文件请参见 pom.xml。spark.version>2.3.0</spark.version><cupid.sdk.version>3.3.8-public...
创建集群
本文介绍如何通过EMR OpenAPI创建一个Hadoop半托管集群。前提条件 已获取相应的SDK，Java SDK请参见 SDK下载，Python SDK请参见 安装SDK。集群基本信息 需要创建的集群基本信息如下：可用区：华东1（杭州）可用区I。付费类型：按量付费。...
修改集群模版
调用ModifyClusterTemplate接口，修改集群模版。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
EMR-3.22.x版本说明
发布日期 EMR-3.22.0 2019年7月28日 新功能 服务 变更点 Kudu 新增组件，Kudu填补Hadoop生态圈的功能空白，可提供类似HBase快速数据插入以及随机存取的功能，允许用户进行数据修改，同时还提供类似HDFS或Parquet超大规模的数据分析以及查询...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...
集群缩容
调用ReleaseClusterHostGroup接口，进行EMR集群节点缩容。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...
- 产品推荐
- 这些文档可能帮助您