JindoData版本说明
主要功能 阿里云OSS服务 JindoSDK Hadoop支持 为阿里云OSS提供了Java Hadoop SDK，完全兼容Hadoop OSS Connector，大幅提升了性能。支持多种Credential Provider设置方式，包括配置、ECS Role和EMR免密机制。支持写入时归档，包括归档和...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
Hudi
消息队列 在小体量的数据场景下，Hudi也可以作为消息队列替代Kafka，简化应用开发架构。数仓回填（backfill）针对历史全量数据进行部分行、列的更新场景，通过数据湖极大减少计算资源消耗，提升了端到端的性能。典型案例是Hive场景下全量和...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
什么是云原生数据湖分析
采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案上云的有竞争力的解决方案。DLA的方案架构图如下...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
Spark计算引擎
方案架构图如下所示：Serverless Spark将Spark、Serverless和云原生技术深度整合到一起，相对于传统开源Spark集群版方案，具有以下优势：使用门槛低 Serverless Spark屏蔽掉了底层的基础组件，提供了简单的API、脚本以及控制台使用方式，...
什么是OSS-HDFS服务
在ETL场景下相较于OSS标准存储类型Bucket，OSS-HDFS服务具有更大的性能优势。更多信息，请参见 在EMR Hive或Spark中访问OSS-HDFS。OLAP OSS-HDFS服务提供append、truncate、flush、sync、pwrite等基础文件操作。通过JindoFuse充分支持POSIX...
客户案例
目前基于Hadoop+HDFS开源架构进行离线（HDFS+Spark）、实时计算（Flink+中间件），该架构在运行中存在性能瓶颈及弹性能力弱等问题，无法很好的满足当前业务需要。客户需求 改善自建架构如下问题：资源成本高、弹性能力弱，资源无法按量使用...
Hadoop生态外表联邦分析
2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部Hadoop生态的数据源网络打通，无法使用该特性。如需使用，请联系后台技术人员，重新申请实例，迁移数据。前提条件：配置SERVER端 由于不同用户的配置需求不尽相同...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
基于Hadoop集群支持Delta Lake或Hudi存储机制
MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
YARN高可用特性使用指南
基本介绍 Hadoop YARN是基于Master与Slave主从架构的分布式集群资源管理系统，其中RM(ResourceManager)是Master组件，负责整个集群的资源管理与任务调度，NM(NodeManager)是Slave组件，负责单个节点的任务管理与监控。YARN高可用特性主要...
概述
本文介绍了列存索引的特点、架构和适用场景。简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
大数据型
同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。大数据实例具有以下特点：基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。网络性能更高（包括单...
网络开通流程
适用于通过MaxCompute SQL、UDF、Spark、MR、PyODPS/Mars、外部表或基于湖仓一体架构访问处于VPC网络下的RDS、HBase集群、Hadoop集群等场景。您需要登录VPC所属主账号对MaxCompute进行授权，并在MaxCompute控制台创建MaxCompute与VPC网络...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
创建Hive数据源
使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
- 产品推荐
- 这些文档可能帮助您