什么是OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。功能特性 功能特性 说明 参考文档 回收站 当您从OSS-HDFS服务误删除文件时，文件不会立即被彻底删除，而是转...
YARN调度器
yarn.scheduler.capacity.schedule-asynchronously.maximum-threads 不配置 异步调度：最大分配线程数，默认值：1，多个分配线程可能产生大量重复Proposal，通常1个分配线程已经具备了很高的调度性能，因此建议不配置。yarn.scheduler....
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
Spark Load
相比于Spark Load导入，Broker Load对Doris集群的资源占用会更高。说明 本文部分内容来源于Apache Doris，详情请参见 Spark Load。适用场景 Spark Load通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
应用场景
仿真制造 制造业能够利用高性能且弹性的计算集群，来辅助分析复杂工程架构和力学结构，通过大量数据仿真模拟优化产品结构和性能。E-HPC涉及到的仿真制造有智能汽车，航天航空，机械建筑等方面。动画渲染 E-HPC支持大规模多机并发业务，应用...
弹性裸金属服务器概述
兼容多种专有云 弹性裸金属服务器可以进一步解决您对高性能计算的强需求，更好地帮助您搭建新型混合云。弹性裸金属服务器不仅具有虚拟机的灵活性和弹性，同时具备物理机的一切特性和优势，因此也具备再次虚拟化的能力，线下的私有云均可...
Beam概述（公测）
Beam特性 高性能实时写 Beam的存储分为行存Detla和PAX结构的列存Base两个部分。在数据写入时，会根据数据写入方式，自动选择合适的存储方式。当您使用 INSERT INTO VALUES 等流式实时方式写入数据时，会写入行存Detla部分，以达到持平行存...
使用LAMMPS软件进行工业仿真
E-HPC作为高性能且弹性的计算集群，可为复杂工程和力学结构提供辅助分析，通过大量数据仿真模拟优化产品结构和性能，目前在工业仿真领域的应用越来越多。准备工作 创建E-HPC集群。具体操作，请参见 使用向导创建集群。配置集群时，本文使用...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
高主频型
小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：高网络包收发场景，例如视频弹幕、电信业务转发等 高性能前端服务器集群 大型多人在线游戏（MMO）前端 数据分析、批量计算、视频编码 高性能...
高性能检索版介绍
高性能检索版简介 OpenSearch-高性能检索版 是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，在大数据场景下实现千亿数据毫秒级响应，提供订单、物流、保单等场景检索方案。OpenSearch-高性能检索版架构 ...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
弹性高性能计算系统权限策略参考
本文描述弹性高性能计算支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
HBase使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
实践教程概览
HPL通过对高性能计算集群采用高斯消元法求解一元N次稠密线性代数方程组的测试，评价高性能计算集群的浮点计算能力。本教程介绍使用HPL测试E-HPC集群的浮点性能。使用IMB软件和MPI通信库测试E-HPC通信性能 IMB（Intel MPI Benchmarks）用于...
文件存储 HDFS 版和数据库MySQL双向数据迁移
背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL、Oracle、Postgres等）中的数据导入 文件存储 HDFS 版 中，也可以将 文件存储 HDFS 版 的...
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
JindoFS实战演示
Spark对OSS上的OCR数据进行查询加速 Spark对OSS上的OCR数据进行查询加速 2021-07-20 当前数据湖市场规模正在飞速增长，随着数据规模的增长，基于高性能的数据湖分析场景也在逐渐增加。当前很多数据湖架构基于对象存储，相对于本地存储，其...
授权信息
本文为您介绍 弹性高性能计算（Ehpc）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。弹性高性能计算（Ehpc）的RAM代码（RamCode）为 ehpc，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持JSON...
查看和修改集群信息
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，单击 集群。在 集群 页面，找到需要查看的集群，单击 详情。在 集群详情 页面，查看集群信息。基本信息：集群标识相关的信息，包括集群ID、状态、地域、VPC ID...
名词解释
文档包含一个或多个字段，但必须有主键字段，高性能检索版实例通过主键值来确定唯一的文档。主键重复则文档会被覆盖。字段 字段是文档的组成单元，包含字段名称和字段内容。插件 为了在导入过程中进行一些数据处理，系统内置了若干数据处理...
ECS选型最佳实践
场景分类 场景细分 推荐规格族 处理器与内存比 数据盘 关系型数据库 高性能，依赖应用层高可用 i系列 1:4 本地SSD存储、高效云盘、SSD云盘 中小型数据库 g系列，或其他内存占比为1:4的规格族 1:4 高效云盘、SSD云盘 高性能数据库 i、r系列 ...
Tair扩展数据结构
本文汇总了部分 Tair 扩展数据结构的性能测试报告。TairRoaring性能白皮书 TairSearch性能白皮书 TairVector性能白皮书 TairDoc性能白皮书
Tair选型指南
步骤 选型操作 说明 1 选择存储介质 云原生内存数据库Tair 面向高性能、高性价比和超大规格等多种场景提供不同的存储介质，分别为内存型、持久内存型和磁盘型。2 选择部署架构 云原生内存数据库Tair 支持 标准架构、集群架构 和 读写分离...
功能发布记录
本文介绍弹性高性能计算产品功能和对应的文档动态。2023年 2023年9月 功能名称 变更类型 功能描述 发布时间 相关文档 通过Serverless集群提交作业 新增 Serverless集群的计算节点由ECI实例组成，您只需提供打包好的容器镜像，即可使用ECI...
优化建议
分布式数据库的高性能依赖于底层数据库的高性能，而对底层数据库性能来说，建立需要的索引是重要的环节；确保语句能正确使用到索引，例如查询条件能被索引完全覆盖到，保证分区键上有索引等；查询尽量在单机完成，最为简单的方式就是在分区...
什么是云原生数据湖分析
DLA Serverless Presto是在开源Apache Presto基础上研发，完全由内存完成计算工作，具备高性能、交互式的分析体验，秒级可返回；DLA Serverless Spark是在开源Apache Spark基础上研发，兼容Apache Spark所有的API。以下场景推荐您使用DLA ...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
查看作业结果
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。单击目标作业列表右侧 详情，可以查看作业详细信息。查看作业性能指标。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Spark使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已部署Apache Spark。...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
应用场景
相较于以日志为中心的系统，例如Scribe和Flume，云消息队列 Kafka 版 在具备高性能的同时，可以实现更强的数据持久化以及更短的端到端响应时间。云消息队列 Kafka 版 的这种特性决定它适合作为日志收集中心。云消息队列 Kafka 版 忽略掉...
使用Hadoop作为元仓计算引擎进行元仓初始化
各方式获取元数据优劣势对比详情如下：元数据获取方式 优势与劣势 直连元数据库 高性能：直接连接底层的元数据库，省去了中间的HMS服务环节，客户端在获取meta（元数据）时性能更好，同时能够减少网络传输上的耗时。更开放：通过HMS服务...
内存型
相比 Redis社区版，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 立即购买云原生版实例（推荐），具体操作请参见 创建Tair实例。立即购买经典版实例，具体操作请参见 创建实例。主要优势 类别 说明 兼容性 100%兼容...
- 产品推荐
- 这些文档可能帮助您