产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
Hadoop DistCp介绍
开源DistCp会把要复制的Path列表存储在客户端内存，如果文件量超过一定阈值或者文件名较长，例如文件量达到一百万条，会出现Out of Memory异常，此时可通过以下命令在客户端设置更多内存。export HADOOP_CLIENT_OPTS="-Xmx1024m"hadoop ...
写入文件提示DataXceiver Premature EOF from ...
但HDFS允许同时打开的文件数量是有限的，受限于DataNode参数，超过限制就会出现DataXceiver Premature EOF from inputStream异常。解决方案 查看DataNode日志，参见 HDFS服务日志，一般会有如下报错。java.io.IOException:Xceiver count ...
Demo App《软件许可协议》
开源软件 阿里云授权给您的软件中可能包含开源软件，您对开源软件的使用应该符合如下要求：（1）遵守相应的开源协议规定，开源协议的约定优于本协议的约定；（2）保留开源软件中原有的许可声明和版权、专利、商标情况等标识；（3）任何情況...
常见问题
本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive...
升级小版本
EMR Serverless StarRocks会在您设置的可维护时间段内自动进行StarRocks小版本升级，在小版本升级过程中可能会出现Query失败的情况，请尽量将可维护时间段设置为业务低峰期。可维护时间段的设置，请参见 设置可维护时间段。手动升级 进入...
EMR StarRocks FE日志文件修复公告
影响 问题说明：StarRocks FE历史版本日志配置错误，导致不支持自动清理软链接日志目录，可能会出现FE日志目录写满的问题。影响版本：EMR-5.10.x及以前版本、EMR-3.10.x及以前版本。说明 StarRocks内核修复的具体方案，请参见[BugFix]log4j...
Lindorm for Cassandra应用实践
另外，Cassandra 需要定期对所有副本进行全量数据修复，否则会出现”幽灵key“等问题，但是修复过程会因为消耗大量系统资源从而影响服务稳定性。而Lindorm由底层的存储组件负责一致性，当您的数据写入时，就会按照您设定的副本数写入，不会...
常见问题
当您使用阿里云E-MapReduce（简称EMR）on ACK 时，可以根据本文...如果在绑定了Bucket A的EMR on ACK集群执行Spark作业尝试读写另一个Bucket B时，将会出现访问拒绝错误：“AccessDenied The bucket you access does not belong to you”。
迁移场景
软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
集群容灾能力
在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，当其中任一个出现问题时，副本数据都会自动进行切换并恢复，以保证数据的可靠性。Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了...
版本特性
开源核心版本：Nacos引擎的开源版本，会随着开源版本一起更新。MSE优化版本：MSE基于开源核心版本进行优化后，提供的能力更强并且可以实现快速迭代的版本。版本类型 开源核心版本 MSE优化版本 描述 专业版/开发版 2.2.3 2.2.3.1 默认关闭...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
开源对比
千级分区就会出现大量抖动。巡检系统 针对死锁、宕机等问题进行自动发现和修复。无。Bug修复 及时发现并修复。只能等社区缓慢修复，且通常要等新版发布，周期长。内核能力 项目 云消息队列 Kafka 版 Apache Kafka 弹性能力 秒级弹缩，业务...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
功能特性
新增服务 重启服务 当配置项修改后，需要重启对应的服务使配置生效，或当某个服务出现故障或异常时，重启服务可以尝试修复服务的问题，并恢复其正常运行状态。重启服务 管理配置项 支持通过控制台的方式修改、添加或查看集群中服务的配置项...
OpenLDAP
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
DataNode出现Xceiver数量限制异常
如果该参数设置太小，会导致DataNode出现Xceiver数量限制的异常。解决方案 登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。进入HDFS服务的配置页面。在 集群管理 页面，单击目标集群操作列的 集群服务。在 集群...
SmartData常见问题
EMR-3.36.1或EMR-5.2.1之前的版本，会出现Bigboot日志占用过大的问题。当您觉得Bigboot占用日志过大时，针对已有的日志文件需要您手动删除，后续您可以参照以下步骤新增配置，将日志级别由INFO修改为WARN，以减少打印过多的日志信息。在EMR...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
应用市场
容器服务ACK应用市场功能集成了Helm，提供并扩展了Helm的相关功能，例如提供图形化界面、阿里云官方Repository...您需要主动升级集群中已安装的软件，及时修复由开源软件引起的缺陷和问题。相关文档 使用Helm简化应用部署 基于Helm的发布管理
Presto概述
与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
迁移概述
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
常见问题
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
写入HDFS出现无法close文件的异常
本文介绍写入HDFS出现无法close文件的异常的解决方案。具体报错 java.io.IOException:Unable to close file because the last block xxx:xxx does not have enough number of replicas.问题原因 一般是由于DataNode写入负载过大引起的，...
EMR旧版数据开发迁移公告
说明 如果在作业运行过程中遇到问题，您可以随时联系阿里云EMR团队，他们会提供专业的定位分析和解决方案。阿里云EMR团队+客户 1~4周 四、完成迁移 停止EMR旧版数据开发的工作流调度，全面切换到EMR Workflow。阿里云EMR团队+客户 1~3天 ...
EMR数据开发（旧版）停止全面支持公告
2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务。2024年12月30日0点起，EMR数据开发（旧版）功能将按地域逐步下线。如果您还在使用数据开发（旧版）功能，请尽快将作业及工作...
开启Nacos开源控制台
说明 开启开源控制台将会重启Nacos集群，重启Nacos集群不会影响您正在运行的业务，但可能会出现少量Nacos客户端请求Nacos引擎失败和重连的日志，属于正常现象。开源控制台在2.2.2版本前无论是否开启社区默认鉴权插件，都会默认提供一个登录...
YARN缺陷修复公告
这部分应用达到上限（相关配置为${yarn.resourcemanager.state-store.max-completed-applications} 或${yarn.resourcemanager.max-completed-applications}，默认值为10000）之后，会影响ResourceManager的调度。具体缺陷引入的Issue为YARN...
常见问题
本文汇总了DataFlow集群使用时的常见问题。集群使用与运维：DataFlow集群外的机器，如何提交作业到DataFlow集群？在DataFlow集群外机器上，如何解析DataFlow集群中的hostname？如何查看Flink作业的运行状态？如何访问Flink作业的日志？如何...
新功能发布记录
这种节点可以帮助用户一键创建任务提交机，并能够自动同步配置，解决了当前任务提交环境部署和配置难的问题。2024-03-14 管理节点组 支持管理健康检查项 E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查，能够及时发现异常...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
Hadoop集群迁移至DataLake集群
（可选）软件自定义配置 如果您导出了旧平台集群中的服务配置，或计划在创建集群流程中预置配置，则可以在新平台集群创建流程中开启软件自定义配置，并将编辑好的配置粘贴输入框中，详细使用方法请参见 配置自定义软件。硬件配置 在 查看...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
- 产品推荐
- 这些文档可能帮助您