开源硬件出问题什么情况-开源硬件出问题什么情况文档介绍内容-阿里云

访问链接与端口

通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件已创建E-MapReduce集群，详情请参见创建集群。背景信息 ...

管理日志

常见问题 Q：已开通SLS服务，并授权相关角色，为什么控制台还是提示“该资源暂未开启服务日志采集，请到EMR控制台对应集群的日志管理页面开启服务日志采集”？A：当前集群并未设置投递日志的服务，请单击右侧的设置日志投递范围，完成日志...

Hadoop集群迁移至DataLake集群

硬件配置集群所在可用区各节点组的规格及付费类型集群所在可用区，以及各个节点组硬件配置情况。例如，CPU、内存、系统盘、数据盘等。（可选）导出集群服务组件配置在集群的日常运维中，用户常常会根据实际需求对服务组件的默认配置...

Celeborn

支持计算与存储分离架构，可以部署Shuffle Service至特殊硬件环境中，与计算集群分离。解决Spark on Kubernetes时对本地磁盘的依赖。Celeborn设计架构图如下。前提条件已创建E-MapReduce的DataLake集群或自定义集群，并选择Celeborn服务。...

SmartData常见问题

本文汇总了使用SmartData时的常见问题。基本概念什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...

开源对比

云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...

产品优势

云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...

EMR数据开发（旧版）停止全面支持公告

2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务。2024年12月30日0点起，EMR数据开发（旧版）功能将按地域逐步下线。如果您还在使用数据开发（旧版）功能，请尽快将作业及工作...

EMR旧版数据开发迁移公告

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...

快速使用EMR Workflow

常见问题报错“The bucket you access does not belong to you”问题相关文档 EMR Workflow的更多介绍，请参见什么是EMR Workflow。更多任务类型的详细信息，请参见任务类型。工作流相关的操作，请参见管理工作流。

登录集群

此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件已在EMR on ECS创建集群，详情请参见创建集群。确保本地...

新功能发布记录

这种节点可以帮助用户一键创建任务提交机，并能够自动同步配置，解决了当前任务提交环境部署和配置难的问题。2024-03-14 管理节点组支持管理健康检查项 E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查，能够及时发现异常...

创建EMR Studio集群

说明首次创建EMR Studio集群时会弹出授权该角色的窗口，请使用阿里云账号对系统角色AliyunECSInstanceForEMRStudioRole进行授权。使用限制 EMR Studio集群仅支持绑定到同一个VPC内的EMR集群，不支持跨VPC。注意事项截止2022年10月14日，...

什么是图计算服务

Graph Compute 与其他开源图计算相比的优势问题一：查询性能为什么能比开源好很多图计算服务内核引擎iGraph在分区并发查询的基础上，通过自研的协程异步框架并发召回，将同步串行磁盘访问改造为异步并行，极大的提高了查询性能；...

UI和端口

本文为您介绍FE和BE的端口，以及如何访问端口。...18030 说明 EMR-5.9.0及以上版本、EMR-3.43.0及以上版本。...rpc_port 9020 BE->FE FE<-->FE FE上的Thrift Server端口。query_port 9030 FE用户 FE上的...常见问题为什么8030、8040端口访问失败？

技术支持的范围和方式

阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...

安装HBase Java SDK

使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...

JindoFS实战演示

Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...

NameNode启动后无法退出safemode

首先需要确认所有DataNode是否已正常启动，如果DataNode进程没有问题，问题可能出在以下两个方面：运维不当导致数据块丢失，无法达到阈值比例。如果出现此类情况，NameNode将无法自动退出safemode。DataNode块上报时间过长，多发生于大量...

查看服务和组件健康状态

异常服务组件不可用，服务组件健康检查项检测出严重问题，请及时处理。无状态无进程组件无健康状态，有进程组件在安装流程或手动停止后不进行健康检查，无需关注。未知有进程组件无法获取服务组件健康检查项结果。如排查业务无问题，...

产品优势

适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可以节省高达50%以上的费用。支持创建抢占式...

EMR Spark功能增强

修复读取大量空文件时栈溢的出问题。通过代码去除对HAS显式依赖或升级HAS依赖。EMR-4.3.0 Spark 2.4.5 升级至2.4.5版本。升级关联的Delta Lake至0.6.0版本。修复开启Ranger Hive后，Pyspark无法正常运行的缺陷。EMR-3.36.1 Spark 2.4.7 ...

常见问题

本文汇总了Hive使用时的常见问题。说明对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取...

查看节点健康状态

存在隐患节点运行正常，但节点健康检查项检测出隐患问题，需关注处理。异常节点不可用，节点健康检查项检测出严重问题，请及时处理。无状态节点在安装流程或手动停止后不进行健康检查，无需关注。未知无法获取节点健康检查项结果。如...

StarRocks概述

说明本文部分内容来源于开源StarRocks的什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

访问Web UI

说明关联的ACK集群需已安装Ingress组件，如果未安装Ingress组件，请先参见常见问题追加Ingress组件。已获取其他阿里云账号或RAM用户的账号ID。操作步骤进入配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 ...

常见问题

当您使用阿里云E-MapReduce（简称EMR）on ACK 时，可以根据本文查找对应的问题场景和解决方案。为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是...

升级小版本

小版本是指StarRocks的更新版本（2.x或3.x系列内的版本升级），包括性能提升、新功能或问题修复等，旨在提供更稳定和可靠的服务。EMR Serverless StarRocks采用滚动升级的方式，使实例的小版本升级过程更加平滑。前提条件已创建StarRocks...

EMR Doctor概述

E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...

常见问题

本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路当发现索引失败时，一般遵循如下排错思路：对于批量索引如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...

Flink（VVR）作业配置

EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...

常见问题

本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...

常见问题

本文汇总了Ranger使用时的常见问题。为什么Ranger UserSync无法自动同步Linux/LDAP用户？问题分析：该问题主要存在于EMR-3.23.0及之前的版本。解决方法：登录集群的emr-header-1节点，手动修改配置文件/etc/ecm/ranger-usersync-conf/...

EMR Doctor常见问题

本文汇总了EMR Doctor使用时的常见问题。哪些集群类型支持EMR Doctor功能？EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor都会采集哪些数据？EMR Doctor收费吗？采集操作会对任务的运行会产生什么影响？...