什么是EMR Serverless Spark
高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。开放架构与生态集成 EMR Serverless Spark与阿里云OSS-HDFS/OSS，数据湖构建DLF，以及DataWorks无缝对接，为客户提供了最大程度...
合作伙伴及开源生态
主要工具：网络通信框架 SOFABolt、生产级高性能 Java 实现 SOFAJRaft、自动化测试框架 SOFAActs、轻量级类隔离容器 SOFAArk。生态项目：高性能可扩展安全网络代理 MOSN、简单可扩展自治事务框架 Seata。同时，SOFAStack 也积极参与了多个...
迁移方案
Master型号 集群最大CU规格 4核16 GB 80 CU 8核32 GB 160 CU 16核64 GB 800 CU 24核96 GB 800 CU以上 网络互通 在EMR控制台创建完DataFlow集群之后，在迁移作业之前，您还需要确保提交Flink作业的客户端所在的机器与DataFlow集群之间的网络...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
不同性能压测工具对比
本文选取了目前主流的几种性能压测工具，包括阿里云PTS、Apache JMeter、ApacheBench（ab）、wrk，为您从多方面分析这些压测工具的优缺点。阿里云PTS 性能测试PTS（Performance Testing Service）是阿里云一款商业化的性能测试工具。支持按...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
工具介绍
PelicanDT（Pelican Distributed Test），是阿里云提供的一款针对 Linux 系统的测试环境模拟工具，是主要针对分布式应用提供的集成测试解决方案，用于帮助开发者简单、高效地测试分布式应用。PelicanDT 现已 开源。PelicanDT 具有以下特点...
添加和管理加速区域
带宽计费方式为 按带宽 时，加速地域根据已绑定基础带宽包的带宽峰值进行带宽限速。带宽计费方式为 按流量 时，您可以自定义加速地域的带宽。加速IP：默认为 弹性公网 IP EIP（Elastic IP Address）类型，且仅支持IPv4协议版本，可用于加速...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
EMR元数据迁移公告
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
快速创建Milvus实例
通过创建阿里云向量检索Milvus实例，能够迅速搭建起具备高性能、弹性伸缩特性的AI向量检索数据库，并借助内置可视化管理工具Attu实现高效运维与监控。本文为您介绍如何快速创建Milvus实例。前提条件 已拥有阿里云账号。如果您还没有阿里云...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
新功能发布记录
2024年 2024年03月 功能名称 功能概述 发布时间 相关文档 支持通过EMR控制台代理创建并管理OSS-HDFS Bucket 在EMR控制台创建集群时，支持代理创建OSS-HDFS Bucket，并可以在集群服务中查看对应Bucket的存储概览和文件列表，不再需要跳转到...
迁移上云操作
vpc-bp1mhd*24chrxn 交换机 该交换机信息仅用于打通 云消息队列 RocketMQ 版 迁移工具访问开源自建集群的网络通道，并不是指开源自建集群在哪个交换机下部署。填写规则如下：在迁移任务指定地域所支持的可用区内，选择任意一个交换机即可。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
Kafka Manager
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
什么是弹性公网 IP
弹性公网 IP EIP（Elastic IP Address）是可以独立购买和持有的公网IP地址资源。目前，EIP 支持绑定到专有网络类型的 云服务器 ECS（Elastic Compute Service）实例、辅助弹性网卡、负载均衡 SLB（Server Load Balancer）实例、NAT 网关...
通过开源Sentinel SDK接入
通过开源组件Sentinel，可以便捷地接入AHAS应用防护。操作步骤 使用开源组件Sentinel将应用接入AHAS应用防护以及连接控制台的具体操作，请参见 新手指南。...重要 若在本机或非阿里云VPC网络运行，请注意在AHAS控制台左上角选择地域为公网。
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
登录集群
您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主节点ECS实例分配固定公网IP或EIP，详情请参见 绑定辅助弹性网卡。集群安全组已开放22端口。登录集群主节点 SSH密钥方式 说明 如需获取主...
EMR旧版数据开发迁移公告
如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度...
快速使用EMR on ACK
提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过kubectl工具连接集群。新建 spark-pi.yaml 文件，文件内容如下。apiVersion:...
查看EIP流量排名
共享带宽 接入 网络智能服务 NIS（Network Intelligence Service）的公网流量分析功能，支持查看 共享带宽 中所添加 EIP 的流量数据及排名。您可以根据流量数据或者流量监控指标排查并解决问题。前提条件 您已经创建了 共享带宽 实例，并已...
支持STS的云服务
云会议-aliyuncvc√○号码百科-dytns√互动直播-imp√网络 云服务 子服务/子模块 RAM代码 控制台 API 专有网络VPC-vpc√负载均衡 负载均衡 slb√负载均衡 应用型负载均衡 alb√负载均衡 网络型负载均衡 nlb√高速通道-vpc√弹性公网IP 弹性...
SSB性能测试说明
场景说明 本测试场景中SSB的生成工具中使用SF（scale factor）控制生成数据量的大小，1SF对应1 GB。说明 以上数据量仅针对原始数据的数据量，不包括索引等空间占用，因此在准备环境时，您需要预留更多的空间。准备工作 您需要准备OLAP查询...
JindoFS块存储模式
能够最大限度保证执行作业时的数据本地化，减少网络传输的压力，进一步提升读取性能。配置集群 所有JindoFS相关配置都在Bigboot组件中，配置如下图所示。图 1.修改配置项 图 2.新增配置项 说明 红框中为必填的配置项。JindoFS支持多命名...
创建EMR Studio集群
本文为您介绍如何在E-MapReduce（简称EMR）控制台上创建EMR Studio集群。前提条件 已完成RAM授权，详细信息请参见 角色授权。说明 首次创建EMR Studio集群时会弹出授权该角色的窗口，请使用阿里云账号对系统角色...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
免费体验Lindorm宽表性能&价格力
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
常见问题
您可以先将EIP移出原共享带宽，再将其加入新的共享带宽，具体操作，请参见 移出共享带宽 添加EIP 重要 移出原共享带宽后，EIP恢复为加入共享带宽之前的带宽峰值和计费方式。公网网络费用可能会随新加入的共享带宽的带宽峰值和计费方式发生...
计费项
计费项 计费说明及付费方式 E-MapReduce服务费用 E-MapReduce会提供集群的多维度管理服务，包括页面的展示与控制、OpenAPI与SDK的支持、监控报警、运维工具和服务端后台的自动化运维等服务。关于E-MapReduce产品的详细定价，请根据您选择的...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
API概览
本产品（专有网络/2016-04-28）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过...
HDFS Balancer
HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据。本文通过为您介绍如何使用HDFS Balancer工具以及Balancer的主要调优参数。使用HDFS Balancer 方式一：使用HDFS Balancer命令 HDFS Balancer命令语句如下。...
集群资源规格评估建议
Kafka集群硬件资源的影响因素较多，包括消息流量的峰值、消息的平均大小、分区的个数、副本因子、客户端的个数等，以及使用的业务场景、业务应用程序的性能等非Kafka服务控制因素。因此评估硬件资源需求时，需要先预估实际业务的规模，并...
管理添加的EIP
在 共享带宽IP管理 页签下，找到目标 EIP，在 操作 列单击 绑定。在 绑定弹性公网IP至资源 对话框，选择要绑定的实例类型和实例ID，然后单击 确定。绑定不同类型资源更多信息，请参见：绑定ECS实例 绑定NAT网关 绑定CLB实例 绑定辅助弹性...
修改共享带宽
操作步骤 登录 共享带宽管理控制台。在顶部菜单栏处，选择共享带宽实例的地域。在 共享带宽 页面，找到目标共享带宽实例，单击 实例ID/名称 列下的 图标，在弹出的对话框中修改共享带宽实例的名称，然后单击 确定。相关文档 ...
管理标签
共享带宽 支持标签功能，您可以通过标签功能来标记和分类 共享带宽 实例，以便于您对实例进行搜索和筛选。标签功能介绍 随着 共享带宽 实例数量的增多，会加大对 共享带宽 实例的管理难度。通过标签将 共享带宽 实例进行分组管理，有助于您...
包年包月实例变配
本文为您介绍包年包月共享带宽的变配规则和操作。变配 包年包月类型的共享带宽实例支持变配功能，您可以通过变配功能升级共享带宽实例的带宽。变配前，您需要了解以下信息：变配限制 生效时间 计费影响 适用场景 包年包月共享带宽的变配...
- 产品推荐
- 这些文档可能帮助您