搭建Hadoop环境
Hadoop 3.3：Java 8和Java 11 Hadoop 3.0.x~3.2.x：Java 8 Hadoop 2.7.x~2.10.x：Java 7和Java 8 本文使用的版本为Hadoop 3.2.4和Java 8，如您使用其他版本，请参考Hadoop官网指南。更多信息，请参见 Hadoop Java Versions。步骤一：安装...
使用Fuse-DFS挂载文件存储 HDFS 版
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见 下载Hadoop源码包。背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE...
在文件存储 HDFS 版上使用Presto
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...
使用E-Mapreduce访问
hadoop jar/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar randomtextwriter-D mapred uce.randomtextwriter.totalbytes=134217728-D mapreduce.job....
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_bj_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|1|2|2|org.apache.hadoop.hive.ql.io.parquet....
文件存储 HDFS 版和对象存储OSS双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速入门。背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及...
版本概述
3.34.0~EMR-3.35.0 版本 EMR-3.35.0 EMR-3.34.0 发布时间 2021.4 2021.3 Hadoop 2.8.5 2.8.5 Knox 1.1.0 1.1.0 Spark 2.4.7 2.4.7 Hive 2.3.7 2.3.7 Tez 0.9.2 0.9.2 Sqoop 1.4.7 1.4.7 YARN 2.8.5 2.8.5 HDFS 2.8.5 2.8.5 Flink 1.11-vvr-...
文件存储 HDFS 版和数据库MySQL双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如...
通过开源HDFS客户端连接并使用文件引擎
下载客户端 下载Hadoop2.7.3版本SDK：hadoop-2.7.3.tar.gz。下载地址：Apache官网。配置Hadoop 执行以下命令，解压缩SDK包。tar-zxvf hadoop-2.7.3.tar.gz 添加Hadoop环境变量。export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行...
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
切换为Hadoop原生的JobCommitter
版本 参数 描述 EMR Hadoop 2.x版本 mapreduce.outputcommitter.class 删除参数值，即将参数值置为空。例如，搜索 mapreduce.outputcommitter.class 配置，删除参数值。EMR Hadoop 3.x版本 mapreduce.outputcommitter.factory.class 删除...
功能特性
文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员和用户熟知，您无需在迁移到云时学习新的存储范例。从传统HDFS迁移到 文件存储 HDFS 版，不会...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
测试环境
由于社区版本的Presto不支持访问OSS，需要您做如下修改来支持访问OSS数据源：下载OSS Jar包，解压后复制到Presto的 lib 和 plugin/hive-hadoop2 这两个目录下面。在Presto的 etc/core-site.xml 中增加如下配置：<property><name>fs.oss....
改写Jindo HDFS客户端路径
使用限制 仅支持Hadoop 2.x版本，不支持Hadoop 3.x版本。开启路径改写功能 进入SmartData服务。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，单击相应集群...
E-MapReduce数据迁移方案
需要修改hive.properties：connector.name=hive-hadoop2 hive.metastore.uri=thrift:/E-MapReduce-header-1.cluster-500148414:9083 hive.config.resources=etc/ecm/hadoop-conf/core-site.xml,/etc/ecm/hadoop-conf/hdfs-site.xml hive....
Spark Load
配置YARN客户端 FE底层通过YARN命令获取正在运行的Application的状态，以及终止Application，因此需要为FE配置YARN客户端，建议使用官方2.5.2或以上版本的Hadoop 2.x。Hadoop下载地址，下载完成后，请按照以下步骤完成配置：配置YARN可执行...
Nacos
8.创建应用并授予API的调用权限 应用（APP）是您调用API服务时的身份，在本例创建API的时候，认证方式选择的是“阿里云APP认证“，因此在API发布后，还需要创建APP，并将APP和API的对应关系建立好，才能够正常访问。具体操作步骤可参考 ...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
访问HBase
org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Found binding in[jar:file:/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!org/slf4j/impl/StaticLoggerBinder...
MapReduce开发手册
groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.8.5</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common...
在文件存储 HDFS 版上使用Apache Spark
tar-zxf spark-2.4.8-bin-hadoop2.7.tgz-C/usr/local/将 文件存储 HDFS 版 Java SDK放到Spark的jars目录下。cp aliyun-sdk-dfs-x.y.z.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 说明 如果您还需要对Spark进行额外配置。具体操作，请...
简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
基础术语
中文 释义 API 应用程序编程接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组，同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识，用于定位在访问的 API。...
EMR-3.47.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
概述
在控制台上进行操作，具体可参考：通过导入Swagger创建API 2 API网关实例选择及分组 2.1 实例选择 API网关实例指用于接入并处理您的API的一组资源，包含公网IP、内网IP、公网出口、负载均衡，API网关支持共享实例和专享实例两种，适用于...
EMR-3.51.x版本说明
Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.8.4 Knox 1.5.0 HBase 1.7.1 JindoCache 6.2.5 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1....
EMR-3.49.x版本说明
服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 Knox 1.5.0 HBase 1.7.1 JindoCache 6.1.1 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS ...
EMR-3.50.x版本说明
Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 Knox 1.5.0 HBase 1.7.1 JindoCache 6.2.0 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-...
EMR-3.46.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
使用VPC内资源作为API的后端服务
2.3 创建API 创建API的流程与其他类型API方式一致，创建API分组以及定义API可参考 创建 API 创建应用以及授权可参考 创建后端服务为VPC内资源的API 2.4 测试API 可以通过以下方式测试您的API 调试API 下载SDK 使用简单认证（AppCode）方式...
EMR-3.48.x版本说明
版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 JindoData 4.6.11 Knox 1.5.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 HBase 1.7.1 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5...
服务接入点
菲律宾（马尼拉）ap-southeast-6 apigateway.ap-southeast-6.aliyuncs.com apigateway-vpc.ap-southeast-6.aliyuncs.com 韩国（首尔）ap-northeast-2 apigateway.ap-northeast-2.aliyuncs.com 马来西亚（吉隆坡）ap-southeast-3 apigateway...
环境管理
2.2 API后端配置 步骤1：由于本例中的API后端服务类型是VPC，因此需要分别创建两个VPC授权 backend-vpc-release 和 backend-vpc-test，分别对应线上环境和测试环境，如何使用VPC作为API的后端服务的配置过程可详见 创建后端服务为VPC内资源...
跨域资源访问（CORS）
allowOrigins:api.foo.com,api2.foo.com,*.foo.com # 允许的ORIGIN,用逗号分隔,默认"*"allowMethods:GET,POST,PUT#允许的方法,用逗号分隔 allowHeaders:X-Ca-RequestId#允许的请求头部,用逗号分隔 exposeHeaders:X-RC1,X-RC2#允许暴露给...
授权管理
2 API授权 授权，是指授予某个APP调用某个API的权限。APP需要获得API的授权才能调用该API。自己创建的APP，API可以直接授权。云市场购买的API，用户有权操作已购买的API授权给自己的APP；如果没有APP，购买时云市场会为您创建一个APP，并且...
EMR-3.45.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData EMR-3.45.1版本：4.6.5 EMR-3.45.0...
DescribeApiGroups-查询 API 分组列表
接口说明 此功能面向 API 提供者 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action...
配置Trace链路追踪
2 API网关配置Trace链路追踪 2.1 登录 API网关控制台。2.2 在左侧栏选择 开放API —— 分组管理。点击进入分组详情。在分组详情页即可配置。Trace字段位置：指定Trace字段的位置，可选位置有Header、Query。Trace字段名称：自定义Trace字段...
发布API商品
2 API商品的构成 客户在云市场上浏览API商品的时候，会看到API商品主要有三部分构成，如下例所示：a.商品简介和售卖信息 b.API接口的信息 c.商品的更多信息，包括产品亮点、产品说明、产品价格、评论、使用指南等。上面的三部分，其中（a）...
- 产品推荐
- 这些文档可能帮助您