开源支持
Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多说明信息请参见 Mars开发指南。服务支持方式：在Github Mars 中留言或新建Issue。Data collector MaxCompute数据集成工具插件，包括...
开源代码参考
如下为开源代码库。每个库中，都有完整的配置使用、开发说明，请参考：库名 说明 链接 java-spring-oidc-sample 应用参照 OIDC 协议（授权码模式）实现 SSO 的样例，最常用的接入方法，也即 IDaaS 中自研应用接入方法。...
Demo App《软件许可协议》
开源软件 阿里云授权给您的软件中可能包含开源软件，您对开源软件的使用应该符合如下要求：（1）遵守相应的开源协议规定，开源协议的约定优于本协议的约定；（2）保留开源软件中原有的许可声明和版权、专利、商标情况等标识；（3）任何情況...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
EMR on ACK商业化公告
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
IDaaS“开发友好”设计
功能二：代码开源 IDaaS 提供了一系列针对 SSO 接入、OIDC 设备流对接、账户同步接入等场景的样本代码，以便于开发者下载、查看、复用，详情请查看：开源代码参考。功能三：SDK 与样例代码 针对不同场景，IDaaS 提供管理说明文档、开发说明...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
快速使用EMR on ACK
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
产品优势
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化...
管理笔记本
您可以根据程序代码类型进行配置。SQL 当程序代码为SQL时，需要提前配置数据库，并在SQL单元格中，选择合适的目标数据库。配置数据库的具体操作，请参见 管理数据库。PySpark 当程序代码为PySpark时，需要提前添加外部集群，详情请参见 ...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
什么是EMR on ECS
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
Iframe
简介 Iframe用于嵌套外部网站，如广告投放等，也可以嵌套HTML内容。属性配置 Iframe组件属性由以下部分组成：分类 属性 示例 说明 基础属性 链接或HTML代码 当内容为 链接 时渲染为链接解析的网页，当内容为 HTML代码 时渲染为HTML解析内容...
常见问题
您可以使用如下代码，对OSS上的数据进行缓存加速。命令示例如下所示。alluxio fs mount-option fs.oss.accessKeyId=<OSS_ACCESS_KEY_ID>\-option fs.oss.accessKeySecret=<OSS_ACCESS_KEY_SECRET>\-option fs.oss.endpoint=<OSS_ENDPOINT>\...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
SDK FAQ
开源客户端是否可以直接访问云上服务？云消息队列 RabbitMQ 版 完全兼容开源RabbitMQ。开源RabbitMQ可以直接访问云上服务。您需要通过 云消息队列 RabbitMQ 版 控制台生成静态用户名密码之后，通过静态账户直接访问云上服务。如何创建静态...
产品优势
您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。AI分布式训练通信优化库AIACC-ACSpeed AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作为阿里云自研的AI训练加速器，专注于分布式训练场景的通信优化功能，在训练...
授权信息
开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{...
支持的检测规则
根据 Google 的编程风格指南，CppLint 可以扫描代码，并检查代码中的每行是否符合 Google 的编码风格规则且能快速识别代码中的安全问题，并提供优秀的代码安全规范建议，帮助开发人员改进代码质量和安全性。C/C++基础规则包 C/C++基础规则...
SmartData常见问题
JindoFS核心代码采用C++ native代码开发，各种基本操作性能优于社区版本。JindoFS提供Fuse支持吗？和OSS自带的Fuse有什么优势？提供。JindoFS提供的Fuse优势在于能够利用JindoFS分布式缓存和Block模式功能。JindoFS支持哪些开源组件？支持...
Spark批式读写Iceberg
由于EMR集群的Iceberg软件包与开源依赖包存在一定差异，例如EMR Iceberg默认集成了DLF Catalog，所以建议您在本地使用provided方式引入开源Iceberg依赖进行代码编译，打包放到集群上运行时使用集群环境中的依赖。配置Catalog。使用Spark ...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
迁移场景
本文介绍从x86平台应用软件迁移到倚天云服务器的场景说明。软件迁移主要包含以下两种...当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请参见 开源软件迁移。
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
通义千问开源系列 大语言模型
通义千问系列模型由阿里云研发。其中开源版本提供包括18亿、70亿、140亿和720亿等多个规模的版本。这些模型基于Transformer结构，在超大规模的...开发者可以通过以下链接，了解如何通过大模型服务平台调用通义千问开源系列。快速开始 API详情
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
迁移方案
A：DataFlow集群中使用的是OpenJDK，如果您在原来集群的作业中使用的是Oracle JDK，并且您的作业中使用了Oracle JDK中特有的功能时，JDK版本的不一致可能导致运行作业时部分类找不到（例如，javafx.util.Pair等）。因此，您的作业中需要...
常见问题
如果是队列资源紧张，您可以考虑切换到空闲队列，否则需要优化代码。Map端是否读取了小文件？您可以通过以下步骤定位问题：在EMR控制台的 访问链接与端口 页面，单击YARN UI所在行的链接。单击Application ID。进入Map Task的详情页面，...
EMR-3.24.x版本说明
支持其他开源已有特性。Grafana 新增组件（Flink独立集群），版本6.4.2。Prometheus 新增组件（Flink独立集群），版本2.13.0。AlertManager 新增组件（Flink独立集群），版本0.19.0。TensorFlow on spark 支持TensorFlow框架置于Spark之上...
- 产品推荐
- 这些文档可能帮助您