OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，...这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，...增加“不可用时长计入服务不可用时间除外情形”：客户违反 阿里云产品服务协议 导致的服务被暂停或终止。
合作伙伴及开源生态
同时，SOFAStack 也积极参与了多个重要开源社区，如 SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）加入了 OpenMessaging 社区贡献能力。活动与社群 SOFALab 源码共建 SOFALab 为 SOFAStack 社区发起源码解析系列文章的共建活动，该系列...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。
EMR-5.3.x版本说明
修复了State Store历史数据造成集群不可用的问题。支持弹性伸缩Decommission后清理释放的节点。完善了弹性伸缩Graceful Decommission的操作逻辑，待NM进程结束后再标记下线完成。Zookeeper 升级至社区3.6.3版本。Flink 新增了SmartData组件...
GetApplication-获取应用详情
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者服务不可用。访问 错误中心 查看更多错误码。
技术支持的范围和方式
不负责处理用户进行非产品预期操作，导致集群不稳定甚至集群不可用的问题。非产品预期的操作详情，请参见 使用限制。支持方式 如果您有业务问题或者产品疑难问题，建议您在阿里云官网寻求支持服务。登录 支持与服务平台。在搜索栏中，输入 ...
开源自建对比
Web场景 对比项 Web应用+ECS Web应用+K8s集群 SAE 多语言运行环境 不支持，基于开源自建，探索集成解决方案。不支持，基于开源自建，探索集成解决方案。支持PHP-FPM结合Nginx的在线应用。远程调试 不支持，基于开源自建，探索集成解决方案...
什么是EMR Serverless Milvus
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
ListApplications-查询应用列表
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者服务不可用。访问 错误中心 查看更多错误码。
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
什么是 SOFAStack
技术栈全面开源共建、保存社区中立、兼容社区和开源生态，组件可插拔，与其它开源组件可相互集成或替换。更多详情，请参见 SOFAStack 开源官网。满足资金安全、无损容灾的金融级要求 —— 包含构建金融级云原生架构所需的各个组件，让用户...
同城多活架构实践
演练预期：电商首页展示的查询链路对商品应用是强依赖，强依赖故障将导致业务不可用，且故障的爆炸半径应该控制在单元格内。创建故障演练。创建杭州单元格B下的商品应用故障演练（例如网络丢包）。具体操作，请参见 创建演练。故障注入。在...
Presto概述
Presto当前不支持高可用架构。在EMR集群中，Coordinator仅会部署在master-1-1节点上；Worker部署在全部Core和Task节点上。应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
新功能发布记录
HDFS Bucket 在EMR控制台创建集群时，支持代理创建OSS-HDFS Bucket，并可以在集群服务中查看对应Bucket的存储概览和文件列表，不再需要跳转到OSS控制台操作，简化了使用流程，也避免了可能的误操作导致HDFS服务不可用的情况。2024-03-14 ...
什么是图计算服务
源于开源，胜于开源 支持开源Gremlin语法，重点算子性能优化，让计算效率更高。海量数据，灵活扩展 分布式集群架构可弹性运维，分钟级快速扩展服务和数据存储能力。大数据生态，深度对接 对接完整的阿里云大数据及AI产品生态，提供基于...
访问链接与端口
方式二：通过内网IP地址访问开源组件UI 不需要添加Knox服务。客户端机器需要与集群节点处于同一内网环境。需要根据访问的服务端口逐一添加安全组规则。方式一：通过Knox服务代理访问开源组件UI 添加安全组规则 当您初次使用组件时，您需要...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
EMR Spark功能增强
背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，基于开源组件，优化和增强阿里云部署环境。功能增强 Spark针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Spark 3.1.1 支持数据湖格式Delta Lake和...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
使用RocksDB作为元数据后端
背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft作为元数据后端，详情请参见 使用Tablestore作为存储后端 和 使用Raft-RocksDB-Tablestore作为存储后端。单机RocksDB作为元数据服务的...
使用RocksDB作为元数据后端
背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft作为元数据后端，详情请参见 使用Tablestore作为存储后端 和 使用Raft-RocksDB-Tablestore作为存储后端。单机RocksDB作为元数据服务的...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
大语言模型
其中1.8B模型基于最新在魔搭社区开源的 最新版本，7B模型基于最新在魔搭社区上开源的 V1.1版本，而14B模型同样基于魔搭社区上 最新版本 提供，72B模型基于魔搭社区开源的 最新版本 提供。模型服务 模型名称 模型描述 应用场景 通义千问110B...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
创建实例
另外，FE的节点数量取决于是否开启高可用，不开启高可用，FE节点数量为1；开启高可用，FE节点数量为3。您可以根据业务需求，单击 编辑 来修改FE资源配置，包括 规格、存储大小 和 节点数量。实例名称 实例名称，长度限制为1~64个字符，仅可...
如何解决MSE Nacos开源控制台无法使用问题
可能原因 MSE Nacos在开启鉴权功能时，使用的是 阿里云RAM控制台，不支持开源的默认鉴权插件。在开启RAM鉴权后，开源控制台也因为缺少RAM用户信息，导致控制台无法使用。关于MSE Nacos鉴权功能的详细信息，请参见 Nacos Client访问鉴权。...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
选型配置说明
相对于HDFS，OSS的数据可用性更高（99.99999999%），HDFS的数据可用性由云盘或本地盘存储的可靠性来保证。归档数据和深度归档数据需要解冻为标准型存储才能参与EMR引擎计算。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
Kyuubi概述
Thrift+JDBC HTTP，Thrift+JDBC Thrift+JDBC 客户端 Kyuubi Beeline HTTP Client Spark Beeline 高可用 支持 支持 不支持 资源隔离 支持 支持 不支持 LDAP认证 支持 支持 支持 阿里云EMR版本 EMR-3.42.0及后续版本 EMR-5.8.0后续版本 EMR-3...
快速使用存算一体版实例
另外，FE的节点数量取决于是否开启高可用，不开启高可用，FE节点数量为1；开启高可用，FE节点数量为3。实例名称 自定义实例名称。实例名称，长度限制为1~64个字符，仅可使用中文、字母、数字、短划线（-）和下划线（_）。管理员用户 admin ...
Hadoop DistCp介绍
说明 Hadoop DistCp的功能和使用方法等详细信息，请参见 Hadoop社区的DistCp使用文档。Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到...
Trino概述
EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言进行开发，具备易用、高性能和强扩展能力等特点，具体如下：完全支持ANSI SQL。支持...
开源ChaosBlade与商业化AHAS CHAOS故障演练对比
平台侧 核心能力 项目 AHAS CHAOS故障演练 ChaosBlade 基础的故障注入、应用管理等功能 支持 支持 高可用的演练服务保障 支持 不支持 演练场景参数自动识别 支持 不支持 演练流程编排（串行、并行）支持 不支持 演练流程安全防护 支持 不...
DataWorks on EMR快速入门
服务高可用 不开启 默认不开启。打开 服务高可用 开关后，EMR会把Master节点分布在不同的底层硬件上以降低故障风险。可选服务 HADOOP-COMMON、OSS-HDFS、YARN、Hive、Spark3、Tez、Knox和OpenLDAP。根据您的实际需求选择组件，被选中的组件...
- 产品推荐
- 这些文档可能帮助您