开源对比
消息重试机制 消息消费超过一定时间未响应会重新投递。超时时间和重试次数的详细解释，请参见 消息超时和重试机制。无消息重试机制。无法跳过有问题消息的消费处理，无法处理新生产的消息，从而会导致消息大量堆积引起内存问题，导致消息...
迁移概述
本文介绍如何将基于x86平台的应用迁移到基于阿里云倚天实例的服务器上使用。迁移背景 倚天云服务介绍 云服务...开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多信息，请参见 开源软件迁移。
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
产品概述
高可用，服务永远在线 支持分布式事务，数据ACID一致性支持，所有节点和数据跨机器冗余部署，任意硬件故障，自动化监控切换，保持服务在线。广泛生态兼容 支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析，MADlib库内置超过300...
Hadoop集群迁移至DataLake集群
校验要求 校验方式 文件校验 通过计算文件的checkSum值进行比对，确保文件在迁移过程中未发生任何改变或损坏。粗略数据校验 适用于快速评估整体数据一致性，主要检查表级别的统计信息，例如：核实表的总行数（count）、数字列的总和（sum）...
创建EMR Studio集群
未开启或是关闭挂载公网，将无法使用EMR控制台访问链接与端口功能查看开源组件Web UI。说明 如果创建集群时，未开启挂载公网，您可以参见 弹性公网IP 中申请EIP的内容处理，或 技术支持 处理。密钥对 关于密钥对的使用详情，请参见 SSH密钥...
配置HTTP响应头
如果您在阿里云DCDN中配置了回源响应头，如 Access-Control-Allow-Origin 等，但是在客户端访问资源时遇到跨域问题，并且在响应头（response header）中没有看到这些配置的响应头，可能原因有以下几点：可能的原因 配置未生效或错误：可能...
关于MSE Nacos新版本取消开源控制台登录页的公告
经过社区和安全工程师协商讨论，Nacos开源控制台在2.2.2版本以后，如果没有开启鉴权，Nacos开源控制台将不再跳转至登录页，直接进入到开源控制台页面，同时会在页面上方显示当前集群未开启鉴权的相关提示。MSE Nacos 2.2.3.0版本以后，会...
Iceberg概述
说明“√”表示支持，“x”表示暂未支持。类别 项目 子项目 开源Iceberg Iceberg商业版（阿里云）基础功能 ACID 无√历史版本回溯 无√Source和Sink集成 Batch√Streaming√高效数据过滤 无√数据变更 Schema Evolution 无√Partition ...
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE ...因此Nacos官方社区从2.2.2版本开始，在未开启社区默认鉴权时，此开源控制台的登录页将不再出现。MSE Nacos开启开源控制台后，也会 关闭 此登录页。
授权信息
条件（Condition）开源大数据平台 E-MapReduce（EMR）未定义产品级别的条件关键字。如需查看适用于所有云产品的通用条件关键字，请参见 通用条件关键字。相关操作 您可以创建自定义权限策略，并将权限策略授予RAM用户、RAM用户组或RAM角色...
什么是EMR on ECS
易用性 分钟级别启动Hadoop集群，敏捷响应业务需求。采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构，轻松分别扩展计算...
响应云盒维修事件
当云盒中的硬件设备发生故障需要更换时，阿里云会向您发送云盒维修事件通知，您需要授权同意阿里云上门更换并维修硬件设备。本文为您介绍云盒维修相关的流程，以及如何响应云盒维修事件。背景信息 配置云盒计算资源时，您需要配置一定的...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
与开源PostgreSQL性能对比
简介 相较于开源PostgreSQL 14，PolarDB for PostgreSQL 14在以下几方面进行了优化，提升了整体性能：采用了领先硬件技术，包括使用3DXpoint存储介质的Optane存储卡、NVMeSSD和RoCE RDMA网络等。基于新的硬件，实现了一整套在用户态运行的...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
访问Web UI
说明 关联的ACK集群需已安装Ingress组件，如果未安装Ingress组件，请先参见 常见问题 追加Ingress组件。已获取其他阿里云账号或RAM用户的账号ID。操作步骤 进入配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 ...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
测试结果分析
本文介绍 云原生多模数据库 Lindorm 与开源HBase的吞吐量对比、毛刺率对比和压缩率对比的测试结果。前提条件 基于以下环境配置，性能测试工具和测试方法分析本文的测试结果。环境配置的详情请参见 测试环境。性能测试工具的使用请参见 性能...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
迁移方案
基于Flink on YARN的部署模式，在未设置 yarn.provided.lib.dirs 参数的情况下，Flink作业在YARN集群中运行时所使用的Flink Runtime为提交作业的客户端所使用的Flink（例如，开源Flink 1.13等）。因此如果您想使用特定的Flink版本运行作业...
HUE指标
999th Percentile.This is computed over the past hour hue_requests_response_time_999_percentile 99%的请求响应时间。单位：秒。15-Minute Rate hue_requests_response_time_15m_rate 最近15分钟请求响应速率。99th Percentile.This is...
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
开源自建对比
硬件成本 按峰值固定保有包年IaaS，资源利用率低，有闲置浪费。按峰值固定保有包年IaaS，资源利用率低，有闲置浪费。按需使用，按量付费，无闲置浪费。应用管理 纯黑屏操作，效率低且易出错。自行集成各个云服务，自研发布策略用于规避停机...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
- 产品推荐
- 这些文档可能帮助您