使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
Jindo DistCp场景化使用指导
Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。Hadoop 3.x系列版本，请下载 jindo-distcp-3.0.0.jar。场景预览 Jindo DistCp常用使用场景如下所示：场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
JindoDistCp常见问题
hadoop jar jindo-distcp-${version}.jar-src/data-dest oss:/destBucket/-hadoopConf fs.oss.checksum.combine.mode=MD5MD5CRC 拷贝OSS文件到OSS-HDFS时报错 问题说明 使用JindoDistCp拷贝OSS文件到OSS-HDFS时报错，报错信息如下。...
从HDFS迁移数据到OSS/OSS-HDFS
注意事项 JindoSDK 4.4.0及以上版本默认使用域名分离的方式，数据读写域名默认使用内网标准OSS域名，如果在非阿里云内网环境执行distcp命令，则需要在 Hadoop-Common 的 core-site.xml 中配置数据流访问的公网OSS Endpoint。...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
迁移OSS-HDFS服务不同Bucket之间的数据
本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket...使用相同的AccessKey将同一个Region下Bucket A的数据迁移至Bucket B 命令格式 hadoop jar jindo-distcp-tool-${version}.jar-src oss:/bucketname.region.oss-dls.aliyuncs....
常见问题
hadoop jar<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount \-Dalluxio.user.file.writetype.default=CACHE_THROUGH \-libjars/<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \<path1><path2>...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
迁移HDFS数据到OSS
在示例命令中配置AccessKey hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m*-hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG*-...
使用JindoDistCp工具迁移第三方云对象存储数据到OSS/...
已在Hadoop的 core-site.xml 文件里，配置AccessKey ID和AccessKey Secret。新增配置项详情，请参见 管理配置项。JindoDistCp可以将AccessKey ID和AccessKey Secret预先写在Hadoop的 core-site.xml 文件里，避免使用时多次填写的问题。例如...
迁移HDFS数据到OSS-HDFS
OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以利用Hadoop生态系统的各种工具和框架进行数据处理和分析。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果...
通过HDP 2.6 Hadoop读取和写入OSS数据
hadoop-oss-hdp-2.6.1.0-129/hadoop-oss-hdp-2.6.1.0-129/aliyun-java-sdk-ram-3.0.0.jar hadoop-oss-hdp-2.6.1.0-129/aliyun-java-sdk-core-3.4.0.jar hadoop-oss-hdp-2.6.1.0-129/aliyun-java-sdk-ecs-4.2.0.jar hadoop-oss-hdp-2.6.1.0-...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
初始化Kerberos环境
fayson/user/fayson[root@cdp-utility-1 30-hdfs-JOURNALNODE]#kdestroy[root@cdp-utility-1 30-hdfs-JOURNALNODE]#kinit fayson 执行Hadoop作业 hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
在文件存储 HDFS 版上使用Apache HBase
执行命令 HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` \${HADOOP_HOME}/bin/hadoop jar${HBASE_HOME}/lib/hbase-mapreduce-2.3.7.jar \ rowcounter dfs_test 返回信息 如果计算行数与写入数据一致，则表示Apache HBase配置成功。...
文件存储 HDFS 版和对象存储OSS双向数据迁移
{HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=107374182400 \-D mapreduce.randomtextwriter.bytespermap=...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen-Dmapred.map.tasks=1000 10737418240 jfs:/your-namespace/terasort/input hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-...
CDP集群高安全Kerberos+Ranger使用
hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 1[root@cdp-utility-1 30-hdfs-JOURNALNODE]#hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
通过CDH5 Hadoop读取和写入OSS数据
ln-s hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar[root@cdh-master hadoop]#cd lib[root@cdh-master lib]#ln-s./././jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar[root@cdh-master lib]#ln-s./././jars...
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
- 产品推荐
- 这些文档可能帮助您