性能优化最佳实践
调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。name>alidfs.default.write.buffer.size</name><value>8388608</value>...
产品概述
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
客户案例
客户需求 集群水位高，性能差，亟待大数据综合治理。IDC大数据每年投入成本高，希望降本提效。价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，...
Hadoop使用JindoSDK访问OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。关于OSS-HDFS服务的应用场景、服务特性、功能特性等更多信息，请参见 什么是OSS-HDFS服务。步骤一：创建专有...
大数据型
同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。大数据实例具有以下特点：基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。网络性能更高（包括单...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
Hadoop集群迁移至DataLake集群
EMR on ECS作为EMR主要资源形态之一已实现多项功能更新，特别是EMR新版控制台提供了DataLake、Dataflow、OLAP和Custom新集群业务场景，相比EMR旧版控制台的集群场景（例如，Hadoop、Data Science等），在集群管控效能和引擎性能方面实现了...
HDFS使用优化
本文为您介绍在E-MapReduce（简称EMR）上使用HDFS进行场景化配置的一些建议，以便优化HDFS的使用性能或稳定性等。背景信息 本文为您介绍一些HDFS使用的优化建议：控制小文件个数 配置HDFS单目录文件数量 配置可容忍的磁盘坏卷 使用Balancer...
EMR-4.8.x版本说明
修复Ranger Disable Presto后，Presto无法启动的问题。支持一键开启或关闭LDAP功能。Hue 支持一键开启或关闭LDAP功能。Impala 升级Impala至3.4.0版本。升级Shiro至1.7.0版本。支持DLF元数据。支持查询Delta格式的数据。支持一键开启或关闭...
应用启动速度分析
mPaaS 的优势之一是能帮助您打造超级稳定、高性能的 App。本教程将引导您进行应用启动速度分析。Android 开发 1.接入移动分析组件 移动分析支持原生 AAR 接入、mPaaS Inside 接入和组件化接入（Portal&Bundle）三种接入方式。但是，目前...
产品对比
在 Hadoop 集群等场景下，ZooKeeper 同时充当应用配置管理的角色。但是由于它是 CP（Consistency，Partition Tolerance）类应用，因此在可用性和性能上都会受到一定影响。etcd 和 ZooKeeper 类似，etcd 是一个高可用的键值存储系统，主要...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
性能测试工具-Shell
AHBench是由阿里云Lindorm团队研发的benchmark测试套件，支持一键测试Lindorm和HBase等集群性能。介绍 该测试套件集成了YCSB（Yahoo!Cloud Serving Benchmark）工具，YCSB提供了测试集合、测试流程控制、结果汇聚等功能。使用该测试套件，...
创建OSS外部表
背景信息 对象存储服务OSS 是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的数据文件。当您需要使用MaxCompute读取存储在OSS目录中的数据或需要将MaxCompute项目中的数据写入OSS目录时，可以在MaxCompute项目中创建OSS...
计算资源优化
阿里云提供了Alibaba Cloud Linux操作系统镜像，是阿里云基于龙蜥社区（OpenAnolis）的龙蜥操作系统（Anolis OS）打造的操作系统发行版，在兼容RHEL/CentOS生态的同时，为云上应用程序提供安全、稳定、高性能的定制化运行环境，并针对云...
高主频型
小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：高网络包收发场景，例如视频弹幕、电信业务转发等 高性能前端服务器集群 大型多人在线游戏（MMO）前端 数据分析、批量计算、视频编码 高性能...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
HBase使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
查看集群性能
查看性能大盘 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器。在 性能大盘 页面，找到目标集群，查看集群的基本信息和节点热力图。如上图所示，热力图中每个方格表示一个...
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
JindoFS实战演示
Spark对OSS上的OCR数据进行查询加速 Spark对OSS上的OCR数据进行查询加速 2021-07-20 当前数据湖市场规模正在飞速增长，随着数据规模的增长，基于高性能的数据湖分析场景也在逐渐增加。当前很多数据湖架构基于对象存储，相对于本地存储，其...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
使用VNC远程可视化
弹性高性能计算提供VNC远程可视化功能，您可以通过控制台Web方式访问远程可视化图形界面。本文介绍如何连接可视化服务和停止可视化服务。前提条件 已安装VNC服务。开启方式如下：创建新的集群时，您可以在 软件配置 页开启VNC功能，系统将...
配置自动伸缩
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 弹性>自动伸缩。在 自动伸缩 页面，从集群列表中选择需要配置自动伸缩的集群。在 全局配置 区域完成参数配置。配置项 描述 开关设置 为集群内所有队列开启...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
什么是云原生数据湖分析
DLA Serverless Presto是在开源Apache Presto基础上研发，完全由内存完成计算工作，具备高性能、交互式的分析体验，秒级可返回；DLA Serverless Spark是在开源Apache Spark基础上研发，兼容Apache Spark所有的API。以下场景推荐您使用DLA ...
自动伸缩最佳实践
本文以使用LAMMPS软件进行高性能计算介绍如何配置自动伸缩策略。背景信息 当您需要每天不定时提交作业，使用E-HPC集群几个小时进行大规模计算，然后释放节点，您可以针对不同的作业类型，配置不同的伸缩策略。配置伸缩策略后，系统可以根据...
查看作业结果
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。单击目标作业列表右侧 详情，可以查看作业详细信息。查看作业性能指标。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器...
搭建Hadoop环境
Hadoop并不依赖硬件来实现高可用性，而是将其自身设计为能够在应用层检测并处理故障，因此能在可能各自存在故障风险的计算机集群之上，提供高度可用的服务。Hadoop的核心部件是HDFS（Hadoop Distributed File System）和MapReduce：HDFS：...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
启动应用
首先请确保应用是由前面部署的 Node.js 性能平台 runtime 启动应用。直接启动应用 ENABLE_NODE_LOG=YES node app.js 使用pm2管理的应用 ENABLE_NODE_LOG=YES pm2 start app.js 如果在控制台无法查看到监控数据，请参考 常见问题 章节。
Spark使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Spark使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已部署Apache Spark。...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
创建Doris集群
引导操作：可选配置，您可以在集群启动Hadoop前执行您自定义的脚本，详情请参见 管理引导操作。标签：可选配置，您可以在创建集群时绑定标签，也可以在集群创建完成后，在集群详情页绑定标签，详情请参见 设置标签。资源组：可选配置。详情...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
应用场景
相较于以日志为中心的系统，例如Scribe和Flume，云消息队列 Kafka 版 在具备高性能的同时，可以实现更强的数据持久化以及更短的端到端响应时间。云消息队列 Kafka 版 的这种特性决定它适合作为日志收集中心。云消息队列 Kafka 版 忽略掉...
- 产品推荐
- 这些文档可能帮助您