Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
功能特性
由ASM托管的控制面支持的功能 网格管理 功能 开源社区 标准版 企业版 旗舰版 基于UI控制台的网格实例部署、升级管理等全生命周期管理 支持ACK当前支持中的全部版本（包括ACK托管版和专有版集群,以及支持ECI on ACK模式）支持ASK当前支持中...
产品架构
EMR开源优化 EMR基于开源社区版本的组件，增强了其性能和功能，例如：Spark中增加了Spark Streaming SQL，性能较开源版本有大幅提升，详情请参见 简介。Delta Lake相较开源版本增加了ZOrder和Data Skipping能力，详情请参见 Delta Lake概述...
什么是EMR on ECS
采用开源社区版本，性能需自行优化。易用性 分钟级别启动Hadoop集群，敏捷响应业务需求。采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。
产品优势
稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据...
产品概述
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。EMR on...
三方开源大语言模型
促进中文对话大模型开源社区的发展，愿景是成为能够帮到每一个人的LLM Engine。相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力...
产品简介
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。EMR on...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
EMR Spark功能增强
背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，基于开源组件，优化和增强阿里云部署环境。功能增强 Spark针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Spark 3.1.1 支持数据湖格式Delta Lake和...
合作伙伴及开源生态
同时，SOFAStack 也积极参与了多个重要开源社区，如 SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）加入了 OpenMessaging 社区贡献能力。活动与社群 SOFALab 源码共建 SOFALab 为 SOFAStack 社区发起源码解析系列文章的共建活动，该系列...
创建业务场景
注册信息-签名 游戏-即时通讯-单聊 游戏-即时通讯-群聊 游戏-即时通讯-聊天室 游戏-论坛社区-主贴 游戏-论坛社区-回贴 游戏-论坛社区-标签 游戏-论坛社区-推荐 新零售-商品-商品标题 新零售-商品-商品描述 阅读-书籍-书名 阅读-书籍-标题 ...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，...这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
免费体验Lindorm宽表性能&价格力
本文介绍了如何免费体验Lindorm宽表引擎和开源社区版HBase的性能&价格力对比。背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持...
什么是图计算服务
Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、社交网络等场景有着广泛的应用。为什么选择图计算服务 复杂关系，简化表达 通过KKV可高效表达图模型中的关联关系，将常用...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
开源软件迁移
它拥有一个由工具、库和社区资源组成的全面、灵活的生态系统，被广泛应用于机器学习和深度神经网络研究。在倚天云服务器上，建议您使用以下两种方式使用TensorFlow。使用官方版本构建TensorFlow的Docker镜像。更多信息，请参见 TensorFlow ...
大语言模型
其中1.8B模型基于最新在魔搭社区开源的 最新版本，7B模型基于最新在魔搭社区上开源的 V1.1版本，而14B模型同样基于魔搭社区上 最新版本 提供，72B模型基于魔搭社区开源的 最新版本 提供。模型服务 模型名称 模型描述 应用场景 通义千问72B ...
什么是EMR Serverless Milvus
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
生命周期策略
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
迁移方案
重要 对于DataStream作业来说，开源Flink和VVR的state是完全兼容的，但是对于SQL作业来说，VVR相比社区Flink，做了大量的优化工作，不能保证state完全兼容。对于state不能兼容的作业，无法从开源Flink生成的Checkpoint中恢复。对于这部分...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
产品优势
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
相关的云服务
专有网络VPC 专有网络VPC可以为开源大数据平台E-MapReduce提供隔离、稳定、安全、快速交付、自主可控的网络环境。您可以自定义这个专有网络的拓扑和IP地址，适用于对网络安全性要求较高的用户。弹性公网IP 弹性公网IP位于阿里云的公网网关...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE ...因此Nacos官方社区从2.2.2版本开始，在未开启社区默认鉴权时，此开源控制台的登录页将不再出现。MSE Nacos开启开源控制台后，也会 关闭 此登录页。
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
通义千问开源系列 大语言模型
预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和...
Lindorm for Cassandra应用实践
是互联网、IoT、车联网、广告、社交、监控、游戏、风控等场景优选数据库，也是为阿里巴巴核心业务提供关键支撑的数据库之一。云原生多模数据库 Lindorm 基于存储计算分离、多模共享融合的云原生架构，具备弹性伸缩、低成本、简单易用、开放...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
Trino概述
EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言进行开发，具备易用、高性能和强扩展能力等特点，具体如下：完全支持ANSI SQL。支持...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
- 产品推荐
- 这些文档可能帮助您