什么是EMR Serverless Spark
它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。产品特性 构建企业级全托管的数据...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
通过OSS SDK接入开源生态
您可以通过OSS SDK接入多种开源生态。开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用...
百川开源 大语言模型
百川开源大语言模型来自百川智能，百炼上提供了百川1(7B)以及百川2(7B和13B)的服务化API。开发者可以通过以下链接，了解如何通过大模型服务平台调用百川开源大语言模型。快速开始 API详情
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
通义千问开源系列 大语言模型
通义千问系列模型由阿里云研发。其中开源版本提供包括18亿、70亿、140亿和720亿等多个规模的版本。这些模型基于Transformer结构，在超大规模的...开发者可以通过以下链接，了解如何通过大模型服务平台调用通义千问开源系列。快速开始 API详情
YARN概述
说明 该组件仅用于监控单个作业的资源使用情况，不会导致数据作业的开发、运行和提交失败。WebAppProxyServer 负责作业链接跳转，降低基于Web的攻击。ApplicationMaster 负责应用程序相关事务。例如，ApplicationMaster负责协调来自...
概述
开发者编写的所有代码最终将会打包成一份 JavaScript 脚本，在小程序启动时运行，在小程序结束运行时销毁。app 由三个文件组成，必须放在项目的根目录。文件 必需文件 作用 app.acss 否 小程序全局样式表 app.js 是 小程序逻辑 app.json 是...
通用配置
多端低代码开发平台魔笔支持自定义桌面应用的icon图标、移动端应用的Tabbar、时区。本文介绍通用配置的详细操作。前提条件 已在 资源管理 中上传图标资源。配置icon 说明 仅适用于桌面应用。上传icon 在应用开发界面的左侧功能区，单击 ...
概述
使用限制 当前各个版本的DataWorks均支持Oozie、Azkaban、Airflow等开源调度引擎作业搬站上云，但是不同版本的DataWorks的迁移助手在进行DataWorks迁移时，有不同支持策略，如下表所示。DataWorks迁移功能描述 基础版 标准版 专业版 企业版...
合作伙伴及开源生态
除了开源项目本身的活跃，SOFAStack 也坚持“开放”的运作思路，吸引外部众多开发者参与社区活动，形成了围绕其技术的线上线下开发者社区。全球线上线下社区活跃 截至目前，SOFAStack 累计组织或参与多场技术布道，涉及北京、上海、广州、...
导出开源引擎任务
下载模板及目录结构的介绍请进入 开源引擎导出 页面进行查询：登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手。在...
导入开源引擎任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手。在左侧导航栏，单击 任务上云>调度引擎作业导入...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
EMR旧版数据开发迁移公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
连接并使用实例
引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽表SQL连接宽表引擎 基于Java JDBC接口的应用开发 基于Python DB-API的应用开发 通过Lindorm-cli连接并使用宽表引擎 通过HBase API连接宽表引擎 基于HBase Java API的应用开发 基于HBase...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
Dolly开源大语言模型
Dolly开源大语言模型来自Databricks，支持脑暴、分类、问答、生成、信息提取、总结等能力。开发者可以通过以下链接，了解如何通过大模型服务平台调用Dolly语言大模型API。快速开始 API详情
DataWorks新版数据源公告
将E-MapReduce、CDH引擎合并入开源集群管理。合并后，关键变更参见本文。引擎合并入数据源管理 DataWorks内的MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并入数据源管理，变更如下：...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
开发参考
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
通义千问开源系列
开发者可以通过以下链接，了解如何通过DashScope灵积模型服务调用通义千问7B及通义千问VL API。通义千问开源7B和14B模型：快速开始 通义千问VL：快速开始
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
Application任务开发
本文为您介绍Application任务开发的配置项说明和操作步骤。前提条件 已创建工作空间，详情请参见 管理工作空间。操作步骤 进入任务开发页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>Spark。在 Spark 页面，单击目标...
Presto概述
基本特性 Presto使用Java语言进行开发，具备易用、高性能和强扩展能力等特点，具体如下：完全支持ANSI SQL。支持丰富的数据源，例如，Hive、Hudi、Iceberg、Delta Lake、MySQL和PostgreSQL。支持高级数据结构，具体如下：数组和Map数据 ...
Iceberg概述
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto...此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
管理模板
任务模板适用于有固定执行参数和资源需求的批处理任务，而SQL Compute模板适合SQL任务的开发和快速迭代。本文档将指导您如何有效地使用这两种模板来简化任务的提交与管理。前提条件 已创建工作空间，详情请参见 管理工作空间。模板概述 ...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据...
管理Compute
Compute类型 在Serverless Spark中，支持以下Compute类型：SQL Compute：用于SQL开发和查询。在SQL编辑器运行查询操作时，需要选择一个合适的SQL Compute。资源队列：用于Application任务的运行，以及工作流节点的实际作业运行。创建SQL ...
服务支持
本文档汇总了E-MapReduce的产品...产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA）E-MapReduce Serverless服务等级协议（SLA）
EMR数据开发（旧版）停止全面支持公告
E-MapReduce（简称EMR）数据开发（旧版）已于2022年2月21日21点停止更新，进入维护状态，详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等...
开发准备
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
- 产品推荐
- 这些文档可能帮助您