基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
网络访问与安全设置
本文介绍网络访问的类型划分及设置方法，旨在指导您安全且高效地设置网络环境。网络访问类型 StarRocks支持阿里云VPC内网访问和公网访问方式。阿里云内网VPC访问：您可以在阿里云StarRocks实例所在网络VPC内或者其它VPC访问和使用StarRocks...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
模型广场介绍
重要 模型广场介绍列表 通义系列模型介绍请访问 通义千问 通义开源系列模型介绍请访问 通义千问开源系列 通义万相模型介绍请访问 通义万相 三方开源大模型请访问 三方开源大语言模型 模型更名 模型名称 更名后的模型 通义千问-Max qwen-max...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
基本概念
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词概念，使您能够更好地理解EMR Serverless StarRocks。地域（Region）购买EMR Serverless StarRocks的服务器所处地理位置。您需要在购买EMR Serverless StarRocks实例时指定Region...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
SNAPSHOT指标
本文为您介绍EMR控制台指标监控中SNAPSHOT指标的详细信息。SNAPSHOT指标包含以下部分：SNAPSHOT-HOST SNAPSHOT-YARN SNAPSHOT-HOST snapshotKey 描述 快照采集频率 TOP_CPU_KEY 主机CPU使用最高的TOP 20。5分钟 TOP_MEM_KEY 主机内存使用...
管理网络配置
在EMR Notebook的使用过程中，需要确保外部集群、数据源与工作空间机器的网络连通性。本文为您介绍如何添加、修改工作空间的网络配置。前提条件 已创建工作空间，详情请参见 管理工作空间。使用限制 在网络配置阶段，仅支持使用以下指定...
云监控指标说明
本文详细介绍了EMR Serverless StarRocks的云监控指标，涵盖了多个关键性能参数。监控指标 类型 描述 serverless_starrocks_be_cpu 累计值 BE节点CPU使用节拍数量。根据mode标签区分不同类型的CPU。单位：节拍。说明 在Linux系统中，一个...
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE Nacos从 2.2.3.1 版本开始，将 默认关闭 开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件 已 开通MSE。已创建Nacos引擎。具体操作，请...
网络访问与安全设置
本文介绍Serverless版本Milvus网络访问的类型划分及设置方法，旨在指导您安全且高效地设置网络环境。网络访问类型 Milvus提供阿里云VPC内网访问和公网访问方式。阿里云内网VPC访问：您可以在阿里云Milvus实例所在网络VPC内或者其它VPC访问...
Impala概述
优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询引擎相似，其性能比Hive快了几个数量级，具体取决于查询和配置的类型。Impala相对于Hadoop上SQL查询，优点如下：由于在数据节点上...
Spark对接HBase
本文介绍Spark如何写入数据至Hbase。Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new ...
查看实例列表与详情
信息分类 描述 基础信息 实例基本信息，包括实例ID、实例名称、创建时间、所在可用区、付费类型、专有网络、交换机和安全组等信息。版本信息 实例配置相关的信息，包括实例系列、版本、小版本、存算分离状态等信息。FE详情 FE的规格、存储...
管理安全组
安全组用于设置集群内ECS实例的网络访问控制，是重要的安全隔离手段。本文为您介绍如何添加安全组及安全组规则。背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向...
Workflow新功能发布记录
本文介绍阿里云E-MapReduce（简称EMR）Workflow每次发布涉及的功能变更及对应的文档，帮助您了解EMR Workflow的发布动态。2024年 2024年3月 功能名称 功能概述 相关文档 调度资源组扩缩容 新增调度资源组扩缩容功能，您可以根据自己的业务...
Spark访问EMR HBase数据
本文介绍Spark如何访问EMR HBase集群数据。Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new ...
为Spark集群关联RSS
本文为您介绍EMR on ACK上的Spark集群如何关联RSS。背景信息 目前在ACK的场景下，Spark Shuffle面临的问题：Spark Shuffle对本地存储有依赖，许多计算存储分离的机型、使用ECI的场景下没有自带本地盘，需要额外购买和挂载云盘，性价比和...
HDFS概述
Active NameNode负责处理DataNode和Client的请求，Standby NameNode跟Active NameNode一样拥有最新的元数据信息，随时准备在Active NameNode出现异常时接管其服务。如果Active NameNode异常，Standby NameNode会感知到并切换成Active ...
使用StarRocks Console
本文为您介绍StarRocks Console的使用方法。前提条件 已创建选择了StarRocks和StarRocks-Console服务的集群，详情请参见 创建StarRocks集群。说明 仅EMR-3.43.0~EMR-3.44.1版本（均包含），EMR-5.9.0~EMR-5.10.1版本（均包含）的集群支持该...
查看集群列表与详情
节点管理：进入节点管理页面，可以查看机器组信息，进行扩容集群和扩容磁盘等操作。按量转包月：选择目标集群操作列的>按量转包月。仅按量付费的集群支持该操作。具体操作步骤，请参见 按量付费转包年包月。续费 和 配置自动续费：选择目标...
通过公网访问Kafka
本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务，包括修改相关配置以监听公网接口以及设置对应的安全组规则，从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。新建集群时，开通公网服务 新建Dataflow集群时，打开...
为Spark集群设置元数据
本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
HDFS使用优化
本文为您介绍在E-MapReduce（简称EMR）上使用HDFS进行场景化配置的一些建议，以便优化HDFS的使用性能或稳定性等。背景信息 本文为您介绍一些HDFS使用的优化建议：控制小文件个数 配置HDFS单目录文件数量 配置可容忍的磁盘坏卷 使用Balancer...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
JindoFS外部客户端
本文主要介绍JindoFS的外部客户端，以及一些典型的应用场景。概述 JindoFS外部客户端，主要是为E-MapReduce集群外部访问JindoFS集群提供一种可行的方法。现在JindoFS外部客户端只能访问块存储模式下的JindoFS，不支持访问缓存模式下的...
使用限制
本文为您介绍了EMR的一些使用限制。重要 在使用EMR时，所有操作都需要在EMR控制台上执行，通常不建议您在ECS控制台上进行操作，不合适的操作可能导致集群不稳定或异常。因此请您仔细阅读本文，如果遇到文档中的操作导致的问题或故障，需由...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...
手动执行脚本
本文为您介绍如何添加手动执行脚本。背景信息 手动执行功能适用于长期存在的集群，对按需创建的临时集群，应使用引导操作来完成集群初始化工作。引导操作详情，请参见 管理引导操作。手动执行类似引导操作，在集群创建完成后，您可以通过...
查看节点健康状态
本文将介绍如何查看节点的健康状态和相关的健康检查项。前提条件 已创建集群，详情请参见 创建集群。使用限制 仅适用于DataLake、Dataflow、OLAP、DataServing和Custom类型的集群。查看最新节点健康状态 进入节点管理页面。登录 E-...
Delta Lake参数
本文介绍一些Delta中比较重要的参数。Delta的设置参数分为三类：Spark SQL设置，即设置SQL运行时的参数。运行时参数，即可以在Session中动态设置的参数，以 spark.databricks.delta.前缀开头。非运行时参数，只能够在Spark的配置文件中配置...
EMR Serverless StarRocks商业化发布
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
开通EMR Doctor（Hadoop集群类型）
功能介绍 EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。EMR Doctor...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
- 产品推荐
- 这些文档可能帮助您