产品优势
通过多副本横向扩展均衡分解采集任务，实现动态扩缩，解决开源水平扩展问题。高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动...
集群容灾能力
在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，当其中任一个出现问题时，副本数据都会自动进行切换并恢复，以保证数据的可靠性。Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了...
JindoSDK访问OSS出现Reached timeout问题
本文介绍JindoSDK访问OSS出现Reached timeout问题的解决方法。具体报错[ErrorCode]:25201,[ErrorType]:OSS Op Error.[ErrorMessage]:[E1008]Reached timeout=30000ms 解决思路 说明 单独的超时异常无法排查，一般是OSS服务端没有返回，需要...
SDK概述
解决Spark Streaming+MNS某些场景下抛空指针问题。解决python sdk的部分BUG。Spark Streaming+Loghub支持自定义时间位置的功能。解决Hadoop无法支持原生Snappy文件问题。目前E-MapReduce支持处理LogService以Snappy格式归档到OSS的文件。...
管理自动补偿
注意事项 当集群出现以下情况时，自动补偿功能可能会失败：待替换的ECS实例出现系统问题。待替换的ECS实例开启了释放保护。待替换的ECS实例所属节点组的节点数小于或等于节点组限定的最小节点数。新补偿的ECS实例会在扩容流程中自动运行...
访问OSS出现CopyNotExcecuted问题
本文介绍JindoSDK访问OSS时，出现CopyNotExcecuted问题的原因和解决方法。问题详情 java.io.IOException:ErrorCode:25201,ErrorMsg:OSS Op Error.[ErrorMessage]:Error in xxxxxxxxxx/.hive-staging_hive_xxxxxxxxxxx/_tmp.-ext-10002/...
访问OSS出现AccessDenied问题
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因和解决方法。问题详情 Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635B6DDE9A1F093434AC6A7C[HostId]:oss-cn-beijing-internal.aliyuncs.com ...
实例启动异常常见错误与对应解决方案
针对实例启动过程中因操作系统内配置异常、异常关机等问题导致操作系统无法正常启动的情况，您可以通过VNC登录实例发现的启动异常或者实例健康诊断工具返回的异常字段，在本文查看此类问题的解决方案。Windows 1662001135：Windows系统因...
JindoSDK访问OSS出现NoSuchUpload问题
本文介绍JindoSDK访问OSS出现NoSuchUpload问题的原因和解决方案。问题详情[RequestId]:638xxxxxx[HostId]:oss-xxxx-internal.aliyuncs.com [ErrorMessage]:[E1010]...
常见问题
错误提示：No FileSystem for scheme:alluxio 如果您是在创建E-MapReduce集群时选择的Alluxio服务，是不会出现此类问题的。通常情况下，此类问题是由于您在E-MapReduce集群创建后，通过添加服务的方式添加的Alluxio服务，添加服务后没有...
手动执行脚本
在解决异常问题后，您可以单独指定失败的节点再次运行。当集群扩容后，您也可以指定扩容的节点单独运行集群脚本。操作步骤 进入脚本操作页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，...
内核发布记录
【问题修复】修复了存算分离模式下主键表和明细表schema change操作后可能出现的short key排序异常问题。解决了Kafka中存在的CVE-2023-25194安全漏洞。修复了在Kubernetes环境中Follower节点进行Stream Load操作失败的问题。解决了存算分离...
镜像介绍
Anolis 8.2 Anolis OS 8是OpenAnolis社区发行的开源Linux发行版，与CentOS 8 100%兼容，支持多计算架构，提供稳定、高性能、安全可靠的操作系统。CentOS Stream 9 CentOS Stream是CentOS 8之后一个滚动发布的Linux发行版。Rocky Linux 8.6 ...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
开源自建对比
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
开源版和商业版介绍
适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布式事务等能力。适合有上云需求、对外（公有云、外部专有云）输出需求的场景。商业版参考文档。各个版本对中间件的支持以及更加详细的...
如何排查EMR Kafka服务异常
查看最新写入的日志信息，看是否有异常信息输出 tail-f$LOG_DIR_ROOT/kafka/server.log 解决问题，恢复异常服务。定位异常原因后，您可以参考相应的文档解决问题。详情请参见 Kafka常见问题。常见服务异常的处理方法 常见服务异常的处理...
访问OSS出现InvalidArgument Part number问题
本文介绍JindoSDK访问OSS出现InvalidArgument Part number问题的原因和解决方法。问题详情 ErrorMessage:[RequestId]:62DC30C7F31FA339346B57B2[HostId]:oss-cn-beijing-internal.aliyuncs.com [ErrorMessage]:[E1010]...
如何解决MSE Nacos开源控制台鉴权不生效问题
本文介绍如何解决MSE Nacos开源控制台鉴权不生效问题。问题现象 在Nacos的开源控制台中创建了新用户，并为该用户设置了某个命名空间权限，但没有生效（仍然可以访问其他命名空间）。已修改用户密码，且已删除用户，但是程序仍然可以使用旧...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...
启动实时检测与分析
EMR Doctor实时检测按5分钟为粒度对集群的实时状态进行检查，您可以通过实时检测了解集群当前的状态、出现的问题，以及发生问题的原因，并对相关问题进行修复，保证集群运行的稳定性。注意信息 如果未开通EMR Doctor，则会缺失实时检测的...
Hive作业异常排查及处理
alter table[TableName]DROP IF EXISTS PARTITION(ds)insert overwrite 动态分区导致作业失败 报错日志：通过 insert overwrite 操作动态分区或执行类似存在 insert overwrite 操作的作业时，出现 Exception when loading xxx in table 报...
版本特性
修复开源控制台发布中文配置出现乱码的问题。修复Golang SDK初次拉取失败，不再重试或重试状态异常，导致服务提供者数量不对的问题。修复Eureka协议频繁打印日志的问题。修复nacos-nodejs-sdk发布中文出现乱码的问题。MSE Nacos更好地支持...
EMR集群不支持跨区域访问OSS问题
本文介绍EMR集群不支持跨区域访问OSS问题的原因及解决方案。访问OSS出现 Fail to wait EPOLLOUT 报错详情：[emr-user@core-1-1~]$hadoopfs-lsoss:/jindo-oss-runjob-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/ 2022-11-2817:12:19,926...
技术支持的范围和方式
自研组件如下：SmartData Bigboot ESS DLF-Auth 协助支持的服务 协助排查EMR产品开源组件的问题，针对开源组件的缺陷或需求，将按照产品规划迭代排期解决。开源组件如下：Hadoop，包括HDFS、YARN和MapReduce。数据集成组件，例如，Flume和...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
写入文件提示无法满足最小写入副本要求
解决方案 如果【X】为0，说明集群DataNode上报NameNode路径出现问题，需要检查以下方面：检查DataNode节点是否可以连通NameNode节点。如果连通的命令长时间或超时不返回信息，则可通过以下命令，检查NameNode节点和DataNode节点是否在同一...
产品优势
适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可以节省高达50%以上的费用。支持创建抢占式...
微服务引擎的线上流量治理
本文介绍微服务引擎的线上流量治理的场景描述、解决问题、架构图及操作参考链接。场景描述 随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中大量企业采用了开源的组件构建微服务，例如Spring Cloud体系或Apache Dubbo等。...
常见问题
本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive...
制品中心
制品特点 内容安全可信 容器镜像均以Anolis OS（Anolis OS由龙蜥开源社区发布的龙蜥操作系统，兼容RHEL/CentOS Linux的社区发行版）、Alibaba Cloud Linux（Alibaba Cloud Linux简称Alinux，是由阿里云操作系统团队以Anolis OS为基础构建的...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
ZKFC Mismatched address异常
本文介绍当高可用集群中的ZKFC（ZooKeeper Failover Controller）日志出现 Mismatched address stored in ZK 异常时，导致HDFS无法选出Active NameNode问题的原因及解决方案。具体报错 java.lang.RuntimeException:Mismatched address ...
EMR数据开发（旧版）停止全面支持公告
2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务。2024年12月30日0点起，EMR数据开发（旧版）功能将按地域逐步下线。如果您还在使用数据开发（旧版）功能，请尽快将作业及工作...
常见问题
本文汇总了Hudi使用时的常见问题。Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
登录集群
针对不同操作系统，详细的操作步骤如下：本地使用Linux操作系统 您可以在本地终端的命令行中运行如下命令连接主节点。ssh root@[主节点公网IP地址]本地使用Windows操作系统 下载并安装PuTTY。下载链接：PuTTY。启动PuTTY。配置连接Linux...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
- 产品推荐
- 这些文档可能帮助您