搭建Hadoop环境
Hadoop 3.3：Java 8和Java 11 Hadoop 3.0.x~3.2.x：Java 8 Hadoop 2.7.x~2.10.x：Java 7和Java 8 本文使用的版本为Hadoop 3.2.4和Java 8，如您使用其他版本，请参考Hadoop官网指南。更多信息，请参见 Hadoop Java Versions。步骤一：安装...
使用Spark访问
usr/local/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/*:/usr/local/hadoop-2.7.3/share/hadoop/...
搭建Windows开发环境
cd MaxCompute-Spark/spark-3.x#编译该工程包 mvn clean package 上述命令执行完毕后，如果显示创建失败，说明环境配置有误，请按照上述配置指导仔细检查并修正环境配置信息。配置依赖说明 在准备的MaxCompute Spark项目下，配置依赖信息。...
PySpark开发示例
打包方式如下，请根据业务的复杂度进行选择：不打包直接采用公共资源 默认提供Python 2.7.13环境配置 spark.hadoop.odps.cupid.resources=public.python-2.7.13-ucs4.tar.gz spark.pyspark.python=./public.python-2.7.13-ucs4.tar.gz/...
自助建站方式汇总
部署LAMP环境（Alibaba Cloud Linux/CentOS 7.x）本教程将介绍如何在Alibaba Cloud Linux/CentOS 7.x操作系统的ECS实例内部署LAMP环境。部署Java Web环境 Tomcat作为一个开源且免费的Java Web服务器，常用来作为Web开发的工具。它可以托管...
搭建Linux开发环境
本文为您介绍如何搭建MaxCompute Spark开发环境。如果您安装了Windows操作系统，请前往 搭建Windows开发环境。前提条件 搭建Spark开发环境前，请确保您已经在Linux操作系统中安装如下软件：说明 本文采用的软件版本号及软件安装路径仅供...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
镜像介绍
系统镜像 系统镜像仅包含了初始操作系统，不包含任何应用数据和环境配置。选用系统镜像创建服务器后，服务器中是一个纯净的操作系统环境。您可以根据实际的业务需求自行安装应用。使用系统镜像创建轻量应用服务器的具体操作，请参见 基于...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
在文件存储 HDFS 版上使用Apache HBase
执行命令 HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` \${HADOOP_HOME}/bin/hadoop jar${HBASE_HOME}/lib/hbase-mapreduce-2.3.7.jar \ rowcounter dfs_test 返回信息 如果计算行数与写入数据一致，则表示Apache HBase配置成功。...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
使用Flink访问
usr/local/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/*:/usr/local/hadoop-2.7.3/share/hadoop/...
Spark-2.x示例
本文为您介绍Spark-2.x依赖的配置以及Spark-2.x示例说明。配置Spark-2.x的依赖 通过MaxCompute提供的Spark客户端提交应用时，需要在 pom.xml 文件中添加以下依赖。pom.xml 文件请参见 pom.xml。spark.version>2.3.0...
文件存储 HDFS 版和数据库MySQL双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如...
Hadoop集群迁移至DataLake集群
旧平台集群服务 向下兼容区间1 向下兼容区间2 向下兼容区间3 向下兼容区间4 Spark 2.x 3.x-Hive 2.x 3.x-Tez 全部新旧版本兼容-Delta Lake 0.6.x 0.8.0-1.1.0-Iceberg 0.12.x 0.13.x-Hudi 0.6.x 0.8.x 0.9.x 0.10.x Sqoop 全部新旧版本兼容...
在文件存储 HDFS 版上使用Apache Flink
vim/usr/local/hadoop-2.7.2/etc/hadoop/yarn-site.xml 在yarn-site.xml配置文件中，配置如下信息。property><name>yarn.resourcemanager.hostname</name><value>xxxx!该地址填写集群中ResourceManager的Hostname->...
日志类别及字段说明
4181de1e2b20c3397f1c409266dbd5631d1bc5be7af85246b0d*container_image_id 镜像ID。registry-cn-beijing-vpc.ack.aliyuncs.com/acs/aliyun-ingress-controller@sha256:5f281994d9e71a1b1a087365271024991c5b0d0543c48f0*container_image_...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
在文件存储 HDFS 版上使用Apache Spark
vim/usr/local/hadoop-2.7.2/etc/hadoop/yarn-site.xml 在yarn-site.xml配置文件中，配置如下信息。property><name>yarn.resourcemanager.hostname</name><value>xxxx!该地址填写集群中ResourceManager的Hostname->...
Spark Load
配置Spark客户端 FE底层通过执行spark-submit命令提交Spark任务，因此需要为FE配置Spark客户端，建议使用官方2.4.5或以上版本的Spark 2.x，Spark下载地址 下载完成后，请按照以下步骤完成配置：配置SPARK-HOME环境变量 将Spark客户端放在FE...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Linux环境GRID驱动的License Server
java version"1.7.0_51"OpenJDK Runtime Environment(rhel-2.4.5.5.el7-x86_64 u51-b31)OpenJDK 64-Bit Server VM(build 24.51-b03,mixed mode)安装OpenJDK。sudo apt install default-jdk 说明 如果提示 Unable to locate package default...
常见问题
DataLake集群的日志路径为/var/log/emr/yarn/，Hadoop集群日志路径为/mnt/disk1/log/hadoop-yarn。tail/var/log/emr/yarn/*-hadoop-timelineserver-*.out 观察到输出日志中包含由com.sun.jersey组件产生的记录。为了禁止组件输出Jersey库的...
手动搭建Drupal网站
本文介绍如何在CentOS 7操作系统的ECS实例上搭建Drupal电子商务网站。前提条件 已注册阿里云账号。如还未注册，请先完成 账号注册。已创建了分配公网IP的ECS实例，并部署了LAMP环境，具体操作请参见 部署LAMP环境（CentOS 7）。背景信息 ...
FE参数配置
本文介绍FE进程的相关配置项。背景信息 FE的配置文件fe.conf通常存放在FE部署路径的 conf/目录下。而在0.14版本中会引入另一个配置文件fe_custom.conf。该配置文件用于记录您在运行时动态配置并持久化的配置项。FE进程启动后，会先读取fe....
监测和诊断eRDMA
dapl2 config 是否在dapl2配置文件中配置eRDMA PASS FAIL：未在dapl2配置文件中检测到eRDMA相关配置，请检查当前dapl2配置文件并加入eRDMA相关配置。如果您不需要dapl2，请忽略该报错。dapl2 test 是否正常运行dapl2 dtest PASS FAIL：运行...
在文件存储 HDFS 版上使用Apache Tez
tez-dist/target/tez-0.9.2-minimal.tar.gz/最小压缩包，仅包含Tez依赖 tez-dist/target/tez-0.9.2.tar.gz/完整压缩包，包含Tez和Hadoop依赖 背景信息 Apache Tez是构建在Hadoop YARN之上支持分布式DAG（Directed Acyclic Graph）的计算...
如何搭建VSFTP及配置虚拟用户
环境及目标 阿里云公共镜像，Centos 7.6 64位，Linux Version 3.10.0-957.21.3.el7.x86_64 vsftpd-3.0.2-25.el7.x86_64 目标是搭建一个FTP，可以使用虚拟用户vuser1登录ftp，支持主动和被动模式。搭建过程 说明 说明：CentOS 6与CentOS 8...
迁移HDFS数据到OSS-HDFS
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
使用Nginx+uWSGI部署Django项目
Django是一个开源的Web应用框架，使用Python语言编写，主要用于搭建Web项目。本教程介绍如何在Linux服务器中使用Nginx+uWSGI部署Django项目。准备工作 创建部署Django项目的ECS实例，ECS实例必须满足以下条件：实例已分配公网IP地址或绑定...
从OSS迁移数据
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
制作应用镜像
centos-openjdk8-alitomcat8-v4 CentOS 7 OpenJDK 1.8 8.5.37 4.0.2 基于Tomcat8.x的HSF 4.0应用推荐使用此版本，最新版本号为：latest apaas/edas-centos-openjdk8-alitomcat7-v4 CentOS 7 OpenJDK 1.8 7.0.92 4.0.2 基于Tomcat7.x的HSF 4...
基于Hadoop集群支持Delta Lake或Hudi存储机制
产品版本 EMR-3.43.0 选择基于Hadoop 2.x和Hive 2.x构建的 EMR-3.x 版本。可选服务 Hadoop-Common、HDFS、Hive、YARN、Spark3、DeltaLake、Hudi、ZooKeeper 选择相关的Hadoop、HDFS、Hive、Spark、DeltaLake及Hudi组件，被选中的组件会默认...
使用实例时镜像相关问题
具体解决方案请参见 CentOS 7.X或RedHat 7.X升级Systemd并重启后会进入救援模式。如何将CentOS 7转换为Red Hat Enterprise Linux（RHEL）7？CentOS 7将于2024年06月30日停止维护（EOL），阿里云将会同时停止对该操作系统的支持。为了避免...
Spark Load
spark.yarn.queue"="queue0","spark.hadoop.yarn.resourcemanager.address"="127.0.0.1:9999","spark.hadoop.fs.defaultFS"="hdfs:/127.0.0.1:10000","working_dir"="hdfs:/127.0.0.1:10000/tmp/doris","broker"="broker0","broker....
搭建ThinkPHP框架
本文介绍如何在Alibaba Cloud Linux 3/2、CentOS 7.x系统的ECS实例中搭建ThinkPHP 8.0框架。前提条件 本教程适用于正在学习PHP或者已基于ThinkPHP框架进行开发的开发人员。搭建ThinkPHP框架时，已有ECS实例必须满足以下条件：实例已分配...
- 产品推荐
- 这些文档可能帮助您