环境准备
解压并安装，根据实际集群情况安装Hadoop服务。按照如下示例启动Hadoop环境。bin/start-all.sh#检查服务是否成功启动。jps 24017 NameNode 24835 Jps 24131 DataNode 24438 ResourceManager 5114 HMaster 24287 SecondaryNameNode 24527 ...
Hadoop
我们提供了工具来读取您Hadoop服务所在集群的配置，您可以按照下面的地址下载 spark-examples-0.0.1-SNAPSHOT-shaded.jar 并上传至OSS,然后提交Spark作业到用户的Hadoop服务所在集群上执行，即可在作业输出中获得访问Hadoop所需的配置。...
产品优势
完善集群的监控和告警体系，覆盖硬件和Hadoop服务，您可以配置告警模板。弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群...
基于eRDMA增强型实例部署Spark集群
步骤一：准备环境 在测试集群性能前，需要先准备测试需要的集群环境，例如Hadoop和Spark机器、安装Hadoop、安装并配置eRDMA等。准备Hadoop环境。如果已有大数据集群，请忽略该步骤。软硬件环境要求 部署该集群需要准备Hadoop、Spark机器，...
探针安装常见问题
常见问题 本文介绍了以下常见问题：AHAS架构感知和故障演练探针limits配置 ECS探针安装常见问题 容器服务安装ack-ahas-pilot常见问题1 容器服务安装ack-ahas-pilot常见问题2 容器服务安装ack-ahas-pilot常见问题3 容器服务安装ack-ahas-...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
挂载文件存储 HDFS 版文件系统
已安装Hadoop客户端，建议您使用的Hadoop版本不低于2.7.2。Hadoop下载地址，请参见 Hadoop Releases。挂载说明 如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
基于Hadoop集群支持Delta Lake或Hudi存储机制
可选服务 Hadoop-Common、HDFS、Hive、YARN、Spark3、DeltaLake、Hudi、ZooKeeper 选择相关的Hadoop、HDFS、Hive、Spark、DeltaLake及Hudi组件，被选中的组件会默认启动相关的服务进程。元数据 内置MySQL 选择 内置MySQL 或者 自建RDS。自...
下载根证书和中间证书
如果您的业务用户通过浏览器访问您的Web业务，则您无需关注根证书和中间证书，因为根证书和中间证书已经内置在浏览器，您只需在Web服务器安装经CA签发的SSL证书，即可实现客户端与服务端的HTTPS通信。如何获取SSL证书（服务端证书），请...
ECS环境自动安装探针
说明 ACK应用安装探针的操作，请参见 容器服务ACK环境自动安装探针。通用Kubernetes环境安装探针的操作，请参见 通用Kubernetes环境自动安装探针。检查您的JDK版本。具体要求，请参见 支持的JDK版本。安装探针 如果您的应用之前已经手动...
数据湖生态接入
生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...
购买证书申请协助和部署服务
申请协助和部署服务为您解决您在使用SSL证书时遇到的各种问题。在申请证书时，协助您梳理申请材料，并主动与CA签发机构进行协调，以确保证书在最短时间内签发。如果您不具备安装或配置证书的能力，专家可为您提供视频远程指导，帮助您快速...
安装PHP SDK
通过服务端SDK源码安装 下载并解压服务端SDK源码。下载地址，请参见 服务端SDK概览。在终端执行 composer install 安装服务端SDK。在代码中引入根目录的autoload.php文件。require_once '/path/to/ice-sdk/autoload.php';
安装云服务集成
安装云服务集成后，您可以将区块链与其他云服务进行集成，也可以直接通过 REST API 调用智能合约，写入或查询链上信息，以及监听区块链事件。安装云服务集成之前，需要您先拥有一个组织或 创建一个组织，云服务集成会以该组织的用户身份...
什么是OSS-HDFS服务
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
新冠疫情期间购买SSL证书赠送申请和安装服务
经阿里云与证书品牌方沟通，在2020年2月5日-2月29日期间，对所有已购买了阿里云OV、EV证书的用户免费提供一对一证书申请和安装配置专家服务。说明 DV证书和免费证书暂不支持此次一对一免费服务，敬请谅解。参考以下步骤申请此次一对一免费...
DataWorks on EMR快速入门
可选服务 HADOOP-COMMON、OSS-HDFS、YARN、Hive、Spark3、Tez、Knox和OpenLDAP。根据您的实际需求选择组件，被选中的组件会默认启动相关的服务进程。说明 除过集群默认的服务，还需选择Knox和OpenLDAP服务。允许采集服务运行日志 开启 支持...
YARN缺陷修复公告
mv$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.jar/tmp/cp hadoop-yarn-server-resourcemanager-3.2.1.jar$HADOOP_HOME/share/hadoop/yarn/命令中的$HADOOP_HOME 为Hadoop的安装目录。本文示例中Hadoop的...
JindoDistCp使用说明
02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz 说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。...
从OSS迁移数据
在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端JindoFS SDK。JindoFS SDK详细介绍请参见 JindoFS SDK。下载 jindofs-sdk.jar。cp./jindofs-sdk-*.jar${HADOOP_HOME}/share/hadoop/hdfs/lib/为...
如何在各类服务中安装SSL证书
如果您需要安全专家提供证书安装的服务，可在SSL证书控制台右侧 安全服务 模块中选择 需要证书安装服务吗 进入 证书安装/配置服务页面，通过购买该页面的服务，享受安全专家的一对一服务。登录 SSL证书控制台。单击左侧导航栏的概览，找到...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Ambari与文件引擎集成
若返回结果如下，则表示Hive服务安装并启动成功。安装Spark服务 登录 Ambari管理系统，单击Services旁边的 图标，单击 Add Service，并将 Spark2 选项打钩。按照安装向导，安装Spark2服务，配置完后单击 DEPLOY 进行安装，等待安装完成。...
SSL证书安装指南
通过 数字证书管理服务 购买并签发SSL证书后，您需要将已签发的SSL证书安装至服务器，才能使SSL证书生效。本文介绍如何下载及安装SSL证书。SSL证书安装场景 场景 说明 在服务器安装SSL证书 表示在提供Web服务的服务器上配置下载后的SSL证书...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
产品概述
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
产品简介
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
EMR-5.6.x版本说明
Presto 修复了Hadoop集群初始化完成后，添加Presto服务后，Presto服务无法启动的缺陷。DeltaLake DML支持SubQuery。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。HBase 修复了HBase2...
EMR-4.4.x版本说明
发布日期 EMR-4.4.1 2020年9月15日 更新内容 服务 变更点 YARN 删除软件栈 yarn.application.classpath 配置中的 hadoop/tools/lib 目录。优化MR作业默认的参数配置。Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson...
EMR-4.9.x版本说明
发行版本信 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.5.0 Bigboot 3.5.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.9.0 HBase 2.3.4 Zookeeper 3.6.2 ...
EMR-3.40.x版本说明
Presto 修复了Hadoop集群初始化完成后，添加Presto服务后，Presto服务无法启动的缺陷。DeltaLake 修复了与Streaming SQL的兼容性问题。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。...
安装SSL证书指导
警告 安装前请务必做好服务器数据备份（ECS如何创建快照），避免安装失败、服务器异常或数据覆盖后无法恢复。为了简化服务流程，为您提供更快捷高效的数字证书服务，您可使用 一对一专家服务。我们的证书专家将为您提供一对一服务，您可...
搭建Hadoop环境
步骤二：安装Hadoop 执行以下命令，下载Hadoop安装包。wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz执行以下命令，将Hadoop安装包解压至/opt/hadoop。sudo tar-zxvf hadoop-3.2.4.tar.gz-C/...
EMR-4.6.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.2.0 Bigboot 3.2.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.1.9 Zookeeper 3.5.6 ...
EMR-3.36.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.8 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 ...
EMR-4.5.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.1.3 YARN 3.1.3 Hive 3.1.2 Spark 2.4.5 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.1.0 Bigboot 3.1.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.1.9 Zookeeper 3.5.6 ...
- 产品推荐
- 这些文档可能帮助您