测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
Hadoop DistCp介绍
本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 Hadoop DistCp的功能和使用方法等详细信息，请参见 Hadoop社区的DistCp使用文档。Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 ...
从自建HDFS迁移数据
常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
迁移开源HDFS的数据到文件存储 HDFS 版
基于阿里云ECS搭建Hadoop集群（下称"迁移集群"），用于访问 文件存储 HDFS 版 实例和迁移数据，并满足以下条件：迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
内存型
适用场景：数据分析与挖掘 Hadoop、Spark集群以及其他企业大内存需求应用 分布式内存缓存，比如Redis 网站和应用服务器 大型多人在线游戏（MMO）服务器 与操作系统的兼容性说明 更多信息，请参见 Intel实例规格与操作系统兼容性说明。...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
Ganos支持对基于阿里云对象存储服务（OSS）、MinIO和HDFS的数据进行创建、导入与导出操作。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/<bucket>/path_to/file[:]Endpoint可以被省略，系统会自动寻找相应的...
对象存储服务路径
Ganos支持对基于阿里云对象存储服务（OSS）、MinIO和HDFS的数据进行创建、导入与导出操作。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/<bucket>/path_to/file[:]Endpoint可以被省略，系统会自动寻找相应的...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的栅格数据的创建，导入与导出操作。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/bucket_name/path_to/file[:]说明 各参数解释如下：如果是具有SubSet...
JindoFS实战演示
Hadoop/Spark访问OSS加速 Hadoop/Spark访问OSS加速 2021-05-25 与开源的Hadoop-OSS-SDK相比，JindoFS SDK具有更优异的性能表现。能够兼容大部分的Hadoop版本、由阿里云EMR Hadoop专业团队维护、可靠性高、能够及时跟进OSS最新特性和优化、...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
模拟IDC Spark读写MaxCompute实践
现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
SQL常见问题
问题描述 当使用POJO类作为UDTF返回类型，并在SQL中显式声明了UDTF返回列的别名列表（Alias Name）时，可能会出现字段错位（即使类型一致，但实际使用的字段可能与预期不符）问题。例如，如果使用如下POJO类作为UDTF的返回类型，并根据 ...
功能更新动态（2023年）
编辑器代码提效 新建离线物理表 数据源 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、OceanBase、...
文档更新动态（2023年）
更新说明 编辑器代码提效 新建离线物理表 数据源功能优化 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、...
AnalyticDB PostgreSQL版7.0版本
支持 使用\COPY命令导入本地数据 支持 使用OSS外表高速导入OSS数据 支持 Hadoop生态外表联邦分析 支持 仓级迁移 自建Greenplum迁移到AnalyticDB PostgreSQL版 支持 Teradata应用迁移至AnalyticDB PostgreSQL 暂不支持 您可以通过外表文件...
高性能版Spark全密态计算引擎性能测试报告
本文介绍高性能版Spark全密态计算引擎与 AnalyticDB for MySQL Spark的性能测试流程及对比结果，通过对比可知，在处理大规模数据集时，高性能版Spark全密态计算引擎相较于 AnalyticDB for MySQL Spark 3.2.0版本的性能提升了0.9倍，具体...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
Serverless模式
支持 使用\COPY命令导入本地数据 支持 使用OSS外表高速导入OSS数据 支持 Hadoop生态外表联邦分析 支持 仓级迁移 自建Greenplum迁移到AnalyticDB PostgreSQL版 暂不支持。您可以通过外表文件中转导入。Teradata应用迁移至AnalyticDB ...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
计算节点配置说明
支持新建的计算节点类型包括：MaxCompute SQL、MaxCompute MR、RDS Mysql、SQL Server、Oracle、Hive、Hadoop、DataHub、Elastic Job、Elastic Service、Blink、Blink DataStream、Flink DataStream、PostgreSQL、GreenPlum、AnalyticDB ...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时...不支持Hive LLAP 建议使用Presto/Spark等引擎替代 目前DLF不支持与自建的Hadoop集群集成，如需使用数据湖请选择阿里云E-MapReduce集群。
YARN高可用特性使用指南
基本介绍 Hadoop YARN是基于Master与Slave主从架构的分布式集群资源管理系统，其中RM(ResourceManager)是Master组件，负责整个集群的资源管理与任务调度，NM(NodeManager)是Slave组件，负责单个节点的任务管理与监控。YARN高可用特性主要...
Zeppelin常见问题
E-MapReduce的Hadoop集群上的Zeppelin与开源版本一致，没有对接LDAP。如何设置Zeppelin Note的权限？您可以在Zeppelin页面，单击 图标，设置权限。Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。...
使用Raft-RocksDB-Tablestore作为存储后端
Found 3 items drwxrwxr-x-root root 0 2020-03-25 14:54 jfs:/test/emr-header-1.cluster-50087-rw-r-1 hadoop hadoop 5 2020-03-25 14:50 jfs:/test/haha-12096RANDOM.txt-rw-r-1 hadoop hadoop 20 2020-03-25 15:07 jfs:/test/testfile ...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
JindoData版本说明
JindoSDK Hadoop支持 提供 JindoOssFileSystem 支持OSS与OSS-HDFS的透明缓存加速使用。提供 JindoFsxFileSystem 支持统一名字空间方式使用。JindoShell CLI支持 支持JindoFSx数据缓存命令。支持JindoFSx元数据缓存命令。支持JindoFSx统一...
扩容集群
Hadoop集群类型中通过弹性伸缩模块创建的弹性伸缩组（创建详情请参见 配置弹性伸缩（仅Hadoop集群类型）），无法进行该操作。注意事项 如果您的集群中包含StarRocks服务，且StarRocks服务执行过手动升级，则后续的扩容操作有可能引发集群...
- 产品推荐
- 这些文档可能帮助您