Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen-Dmapred.map.tasks=1000 10737418240 jfs:/your-namespace/terasort/input hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
实现Hue多实例负载均衡
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。步骤一：创建Gateway 登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。单击右上角的 创建Gateway。在 创建...
使用E-Mapreduce访问
hadoop jar/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar randomtextwriter-D mapred uce.randomtextwriter.totalbytes=134217728-D mapreduce.job....
使用JindoTable实现对OSS上表或分区的归档和解冻
本文介绍了JindoTable中的archiveTable和unarchiveTable命令，这两个命令可以用于对OSS上的表或分区进行归档和解冻操作。使用限制 该文档仅适用于使用Hive Metastore存储元数据的情况。archiveTable命令 archiveTable 命令可以对OSS上的表...
Hive概述
背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求，支持多客户端并发...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
Hue连接开启LDAP认证的引擎
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。步骤一：创建LDAP代理认证用户 当执行引擎开启LDAP认证后，Hue访问执行引擎时将会被LDAP认证拦截。您需要创建一个LDAP代理认证用户，Hue使用该用户通过引擎的LDAP认证，并...
使用E-MapReduce进行MySQL Binlog日志准实时传输
本文介绍如何利用阿里云SLS插件功能和E-MapReduce集群进行MySQL Binlog的准实时传输。前提条件 已在E-MapReduce上创建Hadoop集群，详情请参见 创建集群。已创建MySQL类型的数据库（例如RDS或DRDS）。MySQL必须开启Binlog，且Binlog必须为...
ESS（仅对存量用户开放）
ESS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）在优化计算引擎的Shuffle操作上，推出的扩展组件。背景信息 目前Shuffle方案缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中有大量的网络小包...
MapReduce开发手册
javac-classpath<HADOOP_HOME>/share/hadoop/common/hadoop-common-X.X.X.jar:<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-client-core-X.X.X.jar:<HADOOP_HOME>/share/hadoop/common/lib/commons-cli-1.2.jar-d wordcount_...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘和系统盘）扩容。本文为您介绍如何对磁盘进行扩容。背景信息 根据E-MapReduce版本和磁盘属性不同，E-MapReduce支持的磁盘扩容方式也不同，具体说明如下：数据盘：...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件...{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动YARN服务。
MaxCompute+Hadoop搭建实践
参数 说明 异构数据平台类型 选择 阿里云E-MapReduce/Hadoop集群 网络连接 选择已创建的网络连接。例如：test_net。选择外部数据源 此处直接 创建外部数据源，例如：foreign_data。参数详情请参见 外部数据源参数说明。说明 如果集群为高...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
E-MapReduce数据迁移方案
新旧集群网络打通 线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡，或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离，E-...
集群容灾能力
本文介绍E-MapReduce集群数据容灾和服务容灾能力。数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，...
常见问题
解决方法：拷贝 EMR$HADOOP_HOME/lib 下的JAR包和 native 文件夹到E-MapReduce Druid的druid.extensions.hadoopDependenciesDir（默认为$DRUID_HOME/hadoop-dependencies）。索引时提示如下错误：2018-02-01T09:00:32,647 ERROR[task-...
使用Druid
背景信息 E-MapReduce将Druid作为单独的集群类型，主要基于以下几方面的考虑：E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下，E-MapReduce Druid对内存要求比较高，尤其是Broker和Historical节点。E-MapReduce Druid本身资源...
使用Flink访问
tar-zxvf flink-1.9.0-bin-scala_2.11.tgz-C/usr/local/说明 在使用Apache Flink之前必须在您的集群环境变量中配置 HADOOP_HOME，HADOOP_CLASSPATH 和 HADOOP_CONF_DIR，详情请参见 Apache Hadoop 配置 步骤7配置环境变量。如果您需要对...
通过HDP 2.6 Hadoop读取和写入OSS数据
sudo hadoop jar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar terasort-Dmapred.map.tasks=100 oss:/{bucket-name}/1G-input oss:/{bucket-name}/1G-output 成功返回示例如下。18/10/28 21:39:00 INFO ...
SDK概述
E-MapReduce各版本SDK的发布说明。说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
开发准备
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...
在文件存储 HDFS 版上使用Apache Flink
{HADOOP_HOME}/bin/hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=10240 \-D mapreduce.randomtextwriter.bytespermap=1024 \ dfs...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/mapreduce/*:/usr/local/hadoop-2.7.2/contrib/capacity-scheduler/*.jar export HADOOP_CONF_DIR=usr/local/hadoop-2.7.2/etc/hadoop 修改...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
开发MapReduce
本文为您介绍如何在MaxCompute Studio上开发MapReduce，包括编写MapReduce、调试MapReduce、打包、上传和运行MapReduce。前提条件 您需要完成以下操作：已连接MaxCompute项目。更多连接MaxCompute项目操作，请参见 管理项目连接。已创建...
在调度中使用EMR Doctor任务采集功能
旧版本集群指的是旧版控制台的Hadoop集群和Gateway集群。引擎名称 参数 需追加的EMR Doctor配置 MapReduce yarn.app.mapreduce.am.command-opts 新版本集群-javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
- 产品推荐
- 这些文档可能帮助您