Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
功能特性
由ASM托管的控制面支持的功能 网格管理 功能 开源社区 标准版 企业版 旗舰版 基于UI控制台的网格实例部署、升级管理等全生命周期管理 支持ACK当前支持中的全部版本（包括ACK托管版和专有版集群,以及支持ECI on ACK模式）支持ASK当前支持中...
产品架构
EMR开源优化 EMR基于开源社区版本的组件，增强了其性能和功能，例如：Spark中增加了Spark Streaming SQL，性能较开源版本有大幅提升，详情请参见 简介。Delta Lake相较开源版本增加了ZOrder和Data Skipping能力，详情请参见 Delta Lake概述...
什么是EMR on ECS
采用开源社区版本，性能需自行优化。易用性 分钟级别启动Hadoop集群，敏捷响应业务需求。采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
合作伙伴及开源生态
同时，SOFAStack 也积极参与了多个重要开源社区，如 SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）加入了 OpenMessaging 社区贡献能力。活动与社群 SOFALab 源码共建 SOFALab 为 SOFAStack 社区发起源码解析系列文章的共建活动，该系列...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。
什么是故障
包括根因检查点（如故障原因、最近活动、注入方式、恢复方式等）、故障变更检查、监控检查，并需要对每一个故障明确责任人及团队；故障改进：支持对故障制定明确的改进及验收措施、责任人及完成时间，确保每个深度复盘后的故障都能对业务...
如何管理故障
可对故障根因进行原因检查并结构化录入，检查点包括：故障原因、最近活动、注入方式、恢复方式等；关联故障期间的故障变更，新增故障改进措施等操作。故障状态 处理中：处理中仍未恢复的故障；已恢复：故障对处理中的故障做 恢复 操作后是...
故障管理
包括根因检查点（如故障原因、最近活动、注入方式、恢复方式等）、故障变更检查、监控检查，并需要对每一个故障明确责任人及团队；故障改进：支持对故障制定明确的改进及验收措施、责任人及完成时间，确保每个深度复盘后的故障都能对业务...
产品优势
稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据...
故障复盘
复盘文档一般包含以下内容：故障简述：故障概述、影响面、处理人等 故障背景：故障发生时的业务链路 故障时间线：着重强调故障引入、故障发生、故障发现、业务响应、恢复执行、故障恢复几个时间点 故障原因分析：建议先一句话总结，再进行...
产品概述
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。EMR on...
产品简介
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。EMR on...
EMR Kafka磁盘故障运维
当出现磁盘故障时，需要根据故障原因、故障影响程度、业务需求（是否接受数据丢失、是否允许服务较长时间不可用）、集群状态等综合考虑恢复采取的策略。如果业务优先保证服务可用，但允许丢失部分数据，则应考虑在可能会丢失数据的情况下，...
三方开源大语言模型
促进中文对话大模型开源社区的发展，愿景是成为能够帮到每一个人的LLM Engine。相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
EMR Spark功能增强
背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，基于开源组件，优化和增强阿里云部署环境。功能增强 Spark针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Spark 3.1.1 支持数据湖格式Delta Lake和...
SmartData常见问题
如果缓存服务出现故障，系统自动切换至JindoFS SDK方式，直接读写OSS文件。JindoFS缓存模式和Block模式的区别是怎么？Block模式可以管理文件的元数据，组织数据的块，把OSS作为磁盘来使用，类似HDFS。读写Block模式的数据需要通过JindoFS ...
数据加速Fluid概述
您应及时关注对应第三方开源社区或商业公司的官网、代码托管平台的版本更新动态并仔细阅读及遵守相应的开源协议，自行承担因第三方组件导致的应用侧程序开发、维护、故障与安全等潜在风险。特性 Alluxio JuiceFS Jindo EFC 底层存储类型 ...
故障协同处理（基于钉钉）
2.故障应急场景群：事件升级故障后，群内推出 故障处理中 消息卡片，如果满足自动生成故障场景群的需求（下文详细介绍创建故障场景群逻辑），故障场景群内同时推出 故障处理中 消息卡片。本群故障消息卡片包含按钮：签到、签到记录、应急...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，...这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
产品架构
活跃的开源社区确保了功能的不断迭代和缺陷的快速修复。场景丰富：基础资源：CPU、内存、网络、磁盘、进程等实验场景。Java应用：数据库、缓存、消息、JVM本身、微服务等，还可以指定任意类方法注入各种复杂的实验场景。云原生场景：节点上...
免费体验Lindorm宽表性能&价格力
本文介绍了如何免费体验Lindorm宽表引擎和开源社区版HBase的性能&价格力对比。背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
大语言模型
其中1.8B模型基于最新在魔搭社区开源的 最新版本，7B模型基于最新在魔搭社区上开源的 V1.1版本，而14B模型同样基于魔搭社区上 最新版本 提供，72B模型基于魔搭社区开源的 最新版本 提供。模型服务 模型名称 模型描述 应用场景 通义千问72B ...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
开源ChaosBlade与商业化AHAS CHAOS故障演练对比
本文介绍AHAS CHAOS故障演练与开源ChaosBlade的能力对比。产品简介 开源ChaosBlade与商业化AHAS CHAOS故障演练的特点如下：开源ChaosBlade具备使用简单、场景丰富、演练模型标准化等一系列特点，可以帮助企业快速实施混沌工程。商业化AHAS ...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
如何解决MSE Nacos开源控制台无法使用问题
可能原因 MSE Nacos在开启鉴权功能时，使用的是 阿里云RAM控制台，不支持开源的默认鉴权插件。在开启RAM鉴权后，开源控制台也因为缺少RAM用户信息，导致控制台无法使用。关于MSE Nacos鉴权功能的详细信息，请参见 Nacos Client访问鉴权。...
AliPG优势
背景信息 PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上...
产品优势
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
常见问题
问题原因：DataFlow集群目前是通过内置的JindoSDK来支持免密读写OSS，并支持StreamingFileSink等API的，不需要再按照 社区文档 进行额外的配置，否则会由于依赖冲突导致此报错。处理方法：检查您集群内提交作业的机器的$FLINK_HOME/plugins...
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE ...因此Nacos官方社区从2.2.2版本开始，在未开启社区默认鉴权时，此开源控制台的登录页将不再出现。MSE Nacos开启开源控制台后，也会 关闭 此登录页。
什么是EMR Serverless Milvus
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
- 产品推荐
- 这些文档可能帮助您