WATERMARK语句
WATERMARK语句在流式查询中用来处理数据乱序问题。本文介绍WATERMARK语法及相关的示例。语法 SELECT watermark(projectItem,durationSpec)as watermarkItem,projectItem[,projectItem]*FROM tableExpression WATERMARK主要是为了解决数据流...
版本特性
开源核心版本：Nacos引擎的开源版本，会随着开源版本一起更新。MSE优化版本：MSE基于开源核心版本进行优化后，提供的能力更强并且可以实现快速迭代的版本。版本类型 开源核心版本 MSE优化版本 描述 专业版/开发版 2.2.3 2.2.3.3 支持配置按...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
查看服务和组件健康状态
异常 服务组件不可用，服务组件健康检查项检测出严重问题，请及时处理。无状态 无进程组件无健康状态，有进程组件在安装流程或手动停止后不进行健康检查，无需关注。未知 有进程组件无法获取服务组件健康检查项结果。如排查业务无问题，...
查看节点健康状态
存在隐患 节点运行正常，但节点健康检查项检测出隐患问题，需关注处理。异常 节点不可用，节点健康检查项检测出严重问题，请及时处理。无状态 节点在安装流程或手动停止后不进行健康检查，无需关注。未知 无法获取节点健康检查项结果。如...
管理用户
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
如何排查EMR Kafka服务异常
EMR Kafka集群管控页面显示Kafka相关组件异常，无法通过重启等方式恢复时，需要排查异常原因。本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。...常见服务异常的处理方法 常见服务异常的处理方法，详情请参见 Kafka常见问题。
管理用户及数据授权
通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。...相关文档 如需查看当前实例的SQL查询信息，分析SQL的执行计划，及时诊断和排查SQL问题，详情请参见 诊断与分析。
EMR-5.3.x版本说明
修复了Spark 3.1.1版本与HBase集成使用时失败的问题。优化了Graceful Stop流程。EMR-5.3.0 服务 变更点 SmartData 升级SmartData至3.7.0版本。Spark 修复了与Delta Lake兼容性的问题。Hive Hive on JindoFS（Block模式）支持批量元数据优化...
EMR-3.37.x版本说明
Spark 修复了与Delta Lake兼容性的问题。DeltaLake 升级Delta-Connectors，支持使用StorageHandler语法建表并查询。修复了INSERT OVERWRITE分区表时的问题。修复了G-SCD场景下，Optimize将虚拟字段写入文件时的问题。YARN 节点Containers ...
EMR-3.40.x版本说明
DeltaLake 修复了与Streaming SQL的兼容性问题。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。修复了 mareduce.map.java.opts 配置缺少taihaodoctor的问题。Zookeeper 优化了JVM的...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
Hive服务异常排查及处理
问题原因2：可能是客户端与HiveMetastore之间网络不通，常见于自建ECS客户端场景。解决方案：先查看两台机器能否连通，如果不能则需要解决机器网络互通的问题。HiveServer2问题 常见异常一：HiveServer2突然重启，一段时间内恢复正常 问题...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
扩容磁盘
说明 系统盘扩容完成后，ECS实例存在以下问题：ECS实例会对磁盘做一些处理，这可能导致ECS实例的/etc/hosts 文件发生变化，您需要在扩容完成后修复/etc/hosts 文件。SSH免登录配置失效（不影响服务），您可以手动修复。
集群状态
您可以通过以下方式处理：在集群的 操作历史 查看报错信息，修改后单击操作列的 重试，可再次进入创建流程。在ECS控制台手动退订集群内所有ECS实例，并在EMR控制台上释放该集群。异常终止 如果集群创建过程中遇到不可恢复的错误时，则集群...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...
E-MapReduce弹性低成本离线大数据分析
Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流处理和图形计算等多种计算范式，能够与Hadoop很好地结合。Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。海量离线数据分析...
EMR-3.23.x版本说明
添加支持多个count distinct字段的数据倾斜处理优化。解决join不同bucketversion的表时丢数据的问题。Flink 升级至1.8.2。Bigboot 更新小文件工具。更新OSS JAR，解决非daemon线程问题。Kafka 新增感知Deploymen Set特性。去掉fastjson依赖...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
DataNode出现Xceiver数量限制异常
具体报错 java.io.IOException:Xceiver count xxxx exceeds the limit of concurrent xcievers:xxxx 问题原因 dfs.datanode.max.transfer.threads 参数用来设置DataNode处理读写数据流的线程池大小，默认值为4096个。如果该参数设置太小，...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
ZKFC Mismatched address异常
8021 问题原因 该问题通常说明高可用集群中的ZKFC在ZooKeeper中存储的NameNode的信息与Hadoop配置文件中的不匹配，导致HDFS无法选出Active NameNode。存储在ZKFC中的端口是8020，而实际的NameNode ServiceRPC的端口是8021。早期部分EMR版本...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce（EMR...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
支持管理健康检查项
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件...
管理健康检查项
E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件的健康状态会同步变化，以便用户快速定位问题。本文介绍如何查看健康检查项，并根据实际需求自定义...
通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
Tez
Tez是Apache构建在Hadoop之上的支持分布式DAG（Directed Acyclic Graph）的计算框架，支持通过复杂的DAG描述并处理大数据任务。背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR...
Spark对接Kafka
本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业，处理Kafka集群的数据。背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-...
内核发布记录
对JNI框架进行了优化，增强了对富文本内容的处理能力。新增了Frontend（FE）锁超时检测机制。对Delta Lake查询规划进行了性能优化。【问题修复】修复了Stop BE操作时可能导致的服务卡顿问题。修复了Delta Lake表查询过程中出现的异常问题。...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
基本概念
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词...EMR StarRocks Manager EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，提供对实例内数据的管理、诊断与分析、安全权限配置等能力。
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
合作伙伴及开源生态
战略合作伙伴 蚂蚁集团除了与众多行内 ISV 进行合作外，还与众多的金融机构达成了战略合作协议，在场景、技术上进行深度合作，特别是在金融科技、分布式架构上与各金融机构进行联合创新，形成金融科技开放生态。目前，蚂蚁集团对外开放的...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
- 产品推荐
- 这些文档可能帮助您