引擎版本介绍
Java Runtime 指Spark应用在标准的Java虚拟机（JVM）上运行，所有Spark任务都是通过Java或Scala代码执行。Native Runtime 使用阿里云Fusion Engine提供的运行时环境，利用向量化和原生库等技术来加速SQL类应用的执行性能。以下为您介绍目前...
Livy
Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark ...提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
在函数中配置官方公共层
v10.2.0 README.md Python310-Opencv4x Python 3.10 Custom.Debian10 一个跨平台的计算机视觉库 v4.7.0.68 README.md SQLite3 Python 3.9 Node.js 16 Node.js 14 Java 11 Java 8 Custom 一种轻量型、进程内的关系型数据库 3.41.1 README.md...
初始化
本文介绍如何使用EMR Java SDK进行初始化。背景信息 OpenAPI开发者门户 提供在线调试API和动态生成SDK示例代码的功能，能显著降低API的使用难度，推荐您使用。环境准备 在Eclipse项目中使用阿里云E-MapReduce OpenAPI Java SDK。请确保代码...
Java运行环境说明
本文介绍SAE应用在部署时的Java运行环境，您可以根据实际需求选择。运行环境 运行环境 更新时间 JDK版本 操作系统版本 是否开源 是否维护 说明 Dragonwell 17 2022-07-11 17.0.3.0.3+7 CentOS Linux release 7.9.2009 是 是 更多信息，请...
SDK列表
语言 SDK 说明 Java 8 2021-10-15版本 SNAPSHOT 内测版不推荐 Java 8 2022-03-28版本 RELEASE 1.0 支持更高的安全性、并全部开源（开源地址 https://github.com/search?q=aliyun/aliyun-tpp ）Java 8 2022-07-08 版本 RELEASE 1.1 aliyun-...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
Spark3使用JDK 11
配置文件 配置项 配置值 spark-env.sh spark_java_home/usr/lib/jvm/java-11 spark-defaults.conf spark.yarn.appMasterEnv.JAVA_HOME/usr/lib/jvm/java-11 spark.driverEnv.JAVA_HOME/usr/lib/jvm/java-11 spark.executorEnv.JAVA_HOME/...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
Flink SQL参考
IntervalJoin语句 复杂事件处理（CEP）语句 窗口函数 概述 滚动窗口 滑动窗口 会话窗口 OVER窗口 内置函数 支持的函数 标量函数 表值函数 聚合函数 自定义函数 Java 概述 自定义标量函数（UDSF）自定义聚合函数（UDAF）自定义表值函数...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
SmartData 3.5.x版本简介
JindoSDK Java使用JindoSDK时，JindoSDK日志输出到Java日志中，以提高可诊断性。新增SDK端使用内存统计日志，可以看到当前JindoSDK使用的内存大小。JindoTable计算优化 JindoTable新增native加速功能，可以对使用Spark、Hive或Presto读取...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
Phoenix
代码示例 import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.PreparedStatement;import java.sql.Statement;public class TestPhoenixJdbc { public ...
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
使用JDBC提交Presto作业
示例TrinoSqlConnection.java内容如下。package com.alibaba.emr;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util....
访问Web UI
访问开源组件的Web UI。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题 问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
资源中心
支持文件格式：txt、log、sh、bat、conf、cfg、py、java、sql、xml、hql、properties、json、yml、yaml、ini、js。输入 文件内容。单击 保存。已创建的文件支持以下操作。说明 在工作流上线状态下，无法编辑或重新上传已引用的文件，须先将...
实时计算场景优化
java.io.IOException:Xceiver count 4097 exceeds the limit of concurrent xcievers:4096 at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:150)在客户端运行日志中发现如下报错。DataXceiver ...
什么是EMR Serverless Spark
高性能 基于Fusion Engine(Spark Native Engine)，性能体验最高可达开源Spark的2倍。高扩展性 基于阿里云Serverless底座，提供资源弹性能力，满足ETL作业突发高峰的同时，进一步降低实际计算资源成本。高扩展性 提供资源和任务实例级别的可...
元数据管理常见问题
删除Hive Database时提示“java.lang.IllegalArgumentException:java.net.UnknownHostException: *”如何登录内置的MySQL？报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？问题分析：由于删除...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
EMR-3.22.x版本说明
提供C++和Java API，以便用户进行二次开发。提供Impala、Spark以及Hive Metastore的集成。Kudu版本基于开源社区Apache Kudu1.10.0版本。OpenLDAP 新增组件，取代ApacheDS，ApacheDS下线。高可用。更新内容 组件 详细信息 JindoFileSystem ...
- 产品推荐
- 这些文档可能帮助您