使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
配置Trace链路追踪
您可以参考本文在API网关控制台配置trace链路追踪日志上传到阿里云链路追踪平台，链路追踪 Tracing Analysis 提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助用户提高开发诊断效率。本功能仅支持专享...
漏洞公告|Apache Kafka Connect远程代码执行漏洞
2.12-2.4.1-1.1.5#change to your kafka version sudo chown kafka:hadoop kafka-2.12-2.4.1-1.1.5 tar xvf kafka-2.12-2.4.1-1.1.5.tar.gz sudo rm-f kafka-current sudo ln-s/opt/apps/KAFKA/kafka-2.12-2.4.1-1.1.5 kafka-current exit ...
Dataphin中数据集成任务运行报错“java.io....
common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:396)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:761)~[hadoop-common-2...
EMR-5.17.x版本说明
HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.8.4 Knox 1.5.0 HBase 2.4.9 JindoCache 6.2.5 Phoenix 5.1.2 自定义集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 Hive 3.1.3 Spark2 2.4.8 ...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
EMR-5.13.x版本说明
Auth 2.0.2 Presto 0.278.3 Zookeeper 3.6.3 Sqoop 1.4.7 Knox 1.5.0 Celeborn 0.2.2 Paimon 0.5-ali-1 OLAP集群 服务 版本 StarRocks 2.5.8 Doris 1.2.4 ClickHouse 23.3.2.37 Zookeeper 3.6.3 DataFlow集群 服务 版本 Hadoop-Common 3.2....
EMR-5.15.x版本说明
StarRocks 升级StarRocks2至2.5.10版本。Doris 升级Doris至1.2.7版本。Celeborn 升级Celeborn至0.3.1版本。Paimon 升级Paimon至0.6-ali-2版本。ClickHouse 升级ClickHouse至23.3.13.6版本。发行版本信息 DataLake集群 服务 版本 Hadoop-...
EMR-5.16.x版本说明
plugin 1.0.0 DLF-Auth 2.0.2 Presto 0.283 StarRocks2 2.5.13 StarRocks3 3.1.5 Zookeeper 3.6.3 Sqoop 1.4.7 Knox 1.5.0 Celeborn 0.3.2 Flink 1.15_vvr_6.0.4 HBase 2.4.9 JindoCache 6.2.0 Kudu 1.16.0 Paimon 0.7-ali-1 Phoenix 5.1.2
Hadoop集群迁移至DataLake集群
旧集群版本信息 对应新集群版本信息 EMR-3.35.0：YARN 2.8.5、HDFS 2.8.5、Hive 2.3.7、Spark 2.4.7 EMR-3.x系列 EMR-5.6.0：YARN 3.2.1、HDFS 3.2.1、Hive 3.1.2、Spark 3.2.1 EMR-5.x系列 HDFS&OSS-HDFS选择说明 在EMR-5.12.1及之后版本...
专享实例
最大公网入访带宽（bps）最大公网出访带宽（bps）SLA api.s1.small 2500 50000 5000 1200 5120M 100M 99.95...api.s2.large.x5 50000 1000000 20000 24000 5120M 600M 99.99%api.s2.large.x6 60000 1000000 20000 28800 5120M 600M 99.99%说明...
EMR-5.12.x版本说明
plugin 1.0.0 Sqoop 1.4.7 DLF-Auth 2.0.2 Presto 0.278.3 Zookeeper 3.6.3 Celeborn 0.2.2 Paimon 0.4-ali-1 OLAP集群 服务 版本 StarRocks 2.5.5 Doris 1.2.4 ClickHouse 23.3.2.37 Zookeeper 3.6.3 DataFlow集群 服务 版本 Hadoop-...
跨域资源访问（CORS）
allowOrigins:api.foo.com,api2.foo.com,*.foo.com # 允许的ORIGIN,用逗号分隔,默认"*"allowMethods:GET,POST,PUT#允许的方法,用逗号分隔 allowHeaders:X-Ca-RequestId#允许的请求头部,用逗号分隔 exposeHeaders:X-RC1,X-RC2#允许暴露给...
EMR-5.14.x版本说明
plugin 1.0.0 DLF-Auth 2.0.2 Presto 0.283 Zookeeper 3.6.3 Sqoop 1.4.7 Knox 1.5.0 Celeborn 0.3.0 Paimon 0.5-ali-1 OLAP集群 服务 版本 StarRocks2 2.5.8 StarRocks3 3.1.2 Doris 1.2.4 ClickHouse 23.3.2.37 Zookeeper 3.6.3 ...
EMR-5.11.x版本说明
5.11.0版本：0.3-ali OLAP集群 服务 版本 StarRocks 2.5.1 Doris 1.2.1 ClickHouse EMR-5.11.1版本：22.8.14.57 EMR-5.11.0版本：22.3.8.39 Zookeeper 3.6.3 DataFlow集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 YARN 3.2.1 Knox 1.5.0...
JindoData版本说明
JindoData 4.6.11版本 JindoData 4.6.11版本修复了以下问题：JindoSDK修复了使用JindoCommitter在Aliyun EMR Hadoop 2.8.5环境下使用老的mapred接口写数据的问题。优化了JindoTable，针对OSS上的表或分区进行解冻的功能，支持设置解冻天数...
基于JWT的token认证
vI42dwlD_hOIzayL1Xno2R0T-d5AwTSdnep7g-Fwu8-sj4cCRWq3bd61Zs2QOJ8iustH0vSRMYdP5oYQ 2.4 JWT插件绑定API 在插件列表页找到刚刚创建好的JWT鉴权插件，单击 绑定API 按钮，在弹出框中添加指定分组和环境下的API到弹出框右侧API列表中，单击...
概述
减少2.5%1.17GB Parquet Hadoop生态格式的数据。数据采用高性能的列存储格式，提升数据查询性能。支持嵌套的数据模型。自带性能友好的统计元信息。减少53.3%560MB ORC Hadoop生态格式的数据。自带性能友好的统计元信息。高压缩比 减少80.4%...
Hadoop MapReduce作业配置
在Hadoop（以hadoop-2.6.0版本为例）中，该作业处于Hadoop发行版的 hadoop-mapreduce-client-jobclient-2.6.0-tests.jar 包文件中。如果您通过命令行的方式提交该作业，需要执行以下命令。hadoop jar/path/to/hadoop-mapreduce-client-...
创建Hadoop计算源
若您需开启Impala任务进行快速查询和分析数据，请您提前在Hadoop集群上部署Impala（Impala v2.5及以上版本）。在E-MapReduce5.x计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
EMR-3.40.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 Iceberg 0.13.1 DLF-Auth 2.0.0 Hudi 0.10.1 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
Hadoop Yarn作为Hadoop核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行。其官网介绍ResourceManager和NodeManager构成了数据计算框架。ResourceManager是在系统中的所有应用程序之间仲裁资源的...
参数映射与校验规则
API网关使用 ISO-8859-1 编码读取和转发Header，非法字符会导致乱码或其他非预期的结果 2.5.host 参数 host 参数仅在用户绑定了泛域名和有效的泛域名模板时才有效，例如：绑定泛域名*.api.foo.com 且配置了泛域名模板${user}.api.foo.com ...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen-Dmapred.map.tasks=1000 10737418240 jfs:/your-namespace/terasort/input hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-...
在文件存储 HDFS 版上使用Apache HBase
本文使用Hadoop-2.10.1和HBase-2.3.7测试验证。更多信息，请参见 HBase官网Hadoop版本兼容性说明。说明 如果您使用的是CDH或者阿里云E-MapReduce中内置的HBase，请参见 在文件存储HDFS版上使用CDH6 和 在文件存储HDFS版上使用E-MapReduce。...
在文件存储 HDFS 版上使用Apache Flink
建议您选用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.7.2。已 下载Apache Flink压缩包。本文使用的版本为官方提供的预编译版本Apache Flink 1.12.5。步骤一：配置Hadoop 执行以下命令解压Hadoop压缩包到指定目录。...
转换自定义DAG为Pipeline
{"name":"hadoop_mr_job1","type":"HADOOP_MR","dependencies":["insert_rec_tem_user_table_test_preprocess_all_feature_holo"],"jar":"hadoop-mapreduce-examples-2.8.5.jar","classname":"wordcount","args":["/wordcount/input/","/...
SetAppsAuthorities-给多个APP添加API访问权限
接口说明 此功能面向 API 调用者和 API 使用者 API 提供者可以授权自己的 API 给任意应用（app）调用 API 使用者可以将已购买的 API 授权给自己的应用（app）调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
RemoveAppsAuthorities-撤销多个APP对指定API的访问...
操作 访问级别 资源类型 条件关键字 关联操作 apigateway:RemoveAppsAuthorities Write 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 GroupId string 否 API 分组 ID，系统生成，全局唯一 523e8dc7bbe04613b5b1d726c2a7889d ApiId ...
使用Hive访问
The heap size of the jvm stared by hive shell script can be controlled via export HADOOP_HEAPSIZE=1024#Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=usr/local/hadoop-2.7.3#Hive Configuration ...
API报警设置
4.设置API分组的报警规则 1、如果需要对该API分组下的所有API应用相同的报警规则，进入API分组详情页，点击详情页右上角的 开启云监控。2、在第一次配置API分组云监控时，会有弹出框提示用户创建 API网关-监控服务关联角色。3、点击确定后...
API 提供者 Demo
网关依赖如下：<dependency><groupId>com.alipay.sofa</groupId> <artifactId>gateway-sdk</artifactId> <version>2.5.0</version> </dependency>说明 Demo 中部分 SDK 需要联系蚂蚁技术支持团队获取。完成 Demo 的下载后，您可以进行以下多种...
环境管理
2.2 API后端配置 步骤1：由于本例中的API后端服务类型是VPC，因此需要分别创建两个VPC授权 backend-vpc-release 和 backend-vpc-test，分别对应线上环境和测试环境，如何使用VPC作为API的后端服务的配置过程可详见 创建后端服务为VPC内资源...
API 订阅者 Demo
网关依赖如下：<dependency><groupId>com.alipay.sofa</groupId> <artifactId>gateway-sdk</artifactId> <version>2.5.0</version> </dependency> <dependency> <groupId>cn.com.antcloud.api</groupId><artifactId>antcloud-api-apigateway...
导入API网关的扩展Swagger定义
现在，API网关支持导入Swagger 2.0的文件来创建API，您可以参考ImportSwagger，或在控制台上进行操作，入口见下图：API网关的Swagger扩展基于Swagger 2.0，可以创建API实体的Swagger定义，并将Swagger导入API网关用于批量创建或者更新API...
使用JindoFS SDK免密功能
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/xx/xx/jindofs-2.5.0-sdk.jar 步骤五：测试免密方式访问的方法 使用Shell访问OSS。hdfs dfs-ls/-mkdir/-put/.oss:/使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例...
使用JindoFS SDK免密功能
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/xx/xx/jindofs-2.5.0-sdk.jar 步骤五：测试免密方式访问的方法 使用Shell访问OSS。hdfs dfs-ls/-mkdir/-put/.oss:/使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例...
使用JindoFS SDK免密功能
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/xx/xx/jindofs-2.5.0-sdk.jar 步骤五：测试免密方式访问的方法 使用Shell访问OSS。hdfs dfs-ls/-mkdir/-put/.oss:/使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例...
- 产品推荐
- 这些文档可能帮助您