镜像概述
第三方提供的商业及开源操作系统镜像，分为以下情况：如果是开源操作系统镜像，请联系开源社区获得技术支持。同时，阿里云将对问题的调查提供相应的技术协助。如果是商业版镜像，阿里云会为您提供许可证，并联合操作系统原厂为您提供技术...
什么是图计算服务
Graph Compute 与其他开源图计算相比的优势 问题一：查询性能为什么能比开源好很多 图计算服务内核引擎iGraph在分区并发查询的基础上，通过自研的协程异步框架并发召回，将同步串行磁盘访问改造为异步并行，极大的提高了查询性能；...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
制品中心
制品特点 内容安全可信 容器镜像均以Anolis OS（Anolis OS由龙蜥开源社区发布的龙蜥操作系统，兼容RHEL/CentOS Linux的社区发行版）、Alibaba Cloud Linux（Alibaba Cloud Linux简称Alinux，是由阿里云操作系统团队以Anolis OS为基础构建的...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
常见问题
本文汇总了Alluxio使用时的常见问题。错误提示：No FileSystem for scheme:alluxio 如何排查Alluxio服务状态异常的问题？如何对OSS进行缓存加速？如何配置Alluxio参数？错误提示：No FileSystem for scheme:alluxio 如果您是在创建E-...
登录集群
针对不同操作系统，详细的操作步骤如下：本地使用Linux操作系统 您可以在本地终端的命令行中运行如下命令连接主节点。ssh root@[主节点公网IP地址]本地使用Windows操作系统 下载并安装PuTTY。下载链接：PuTTY。启动PuTTY。配置连接Linux...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
基本概念
ECS实例 在E-MapReduce上创建的一台云服务器，等同于一台虚拟服务器，内含CPU、内存、操作系统、网络配置、磁盘等基础的组件。更多介绍，请参见 实例概述。E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景，请参见 ECS...
管理自动补偿
注意事项 当集群出现以下情况时，自动补偿功能可能会失败：待替换的ECS实例出现系统问题。待替换的ECS实例开启了释放保护。待替换的ECS实例所属节点组的节点数小于或等于节点组限定的最小节点数。新补偿的ECS实例会在扩容流程中自动运行...
通过SSH隧道方式访问开源组件Web UI
如果是Linux或者Mac OS X操作系统，则可直接写成/tmp/路径。8157：本地服务器端口以 8157 为例，实际配置时，您可使用本地服务器未被使用的任意一个端口。在浏览器地址栏输入 http://<主节点的主机名>:，即可访问相应的Web UI。组件端口...
查看服务和组件健康状态
异常 服务组件不可用，服务组件健康检查项检测出严重问题，请及时处理。无状态 无进程组件无健康状态，有进程组件在安装流程或手动停止后不进行健康检查，无需关注。未知 有进程组件无法获取服务组件健康检查项结果。如排查业务无问题，...
NameNode启动后无法退出safemode
首先需要确认所有DataNode是否已正常启动，如果DataNode进程没有问题，问题可能出在以下两个方面：运维不当导致数据块丢失，无法达到阈值比例。如果出现此类情况，NameNode将无法自动退出safemode。DataNode块上报时间过长，多发生于大量...
EMR Spark功能增强
修复读取大量空文件时栈溢的出问题。通过代码去除对HAS显式依赖或升级HAS依赖。EMR-4.3.0 Spark 2.4.5 升级至2.4.5版本。升级关联的Delta Lake至0.6.0版本。修复开启Ranger Hive后，Pyspark无法正常运行的缺陷。EMR-3.36.1 Spark 2.4.7 ...
扩容集群
注意事项 如果您的集群中包含StarRocks服务，且StarRocks服务执行过手动升级，则后续的扩容操作有可能引发集群版本不一致问题。为确保系统稳定运行，我们强烈建议您迁移到EMR Serverless StarRocks。EMR Serverless StarRocks不仅无缝兼容...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
访问Web UI
说明 关联的ACK集群需已安装Ingress组件，如果未安装Ingress组件，请先参见 常见问题 追加Ingress组件。已获取其他阿里云账号或RAM用户的账号ID。操作步骤 进入配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 ...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
查看节点健康状态
存在隐患 节点运行正常，但节点健康检查项检测出隐患问题，需关注处理。异常 节点不可用，节点健康检查项检测出严重问题，请及时处理。无状态 节点在安装流程或手动停止后不进行健康检查，无需关注。未知 无法获取节点健康检查项结果。如...
常见问题
当您使用阿里云E-MapReduce（简称EMR）on ACK 时，可以根据本文查找对应的问题场景和解决方案。为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
升级小版本
小版本是指StarRocks的更新版本（2.x或3.x系列内的版本升级），包括性能提升、新功能或问题修复等，旨在提供更稳定和可靠的服务。EMR Serverless StarRocks采用滚动升级的方式，使实例的小版本升级过程更加平滑。前提条件 已创建StarRocks...
EMR StarRocks FE日志文件修复公告
影响 问题说明：StarRocks FE历史版本日志配置错误，导致不支持自动清理软链接日志目录，可能会出现FE日志目录写满的问题。影响版本：EMR-5.10.x及以前版本、EMR-3.10.x及以前版本。说明 StarRocks内核修复的具体方案，请参见[BugFix]log4j...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
内核发布记录
【问题修复】修复了存算分离模式下主键表和明细表schema change操作后可能出现的short key排序异常问题。解决了Kafka中存在的CVE-2023-25194安全漏洞。修复了在Kubernetes环境中Follower节点进行Stream Load操作失败的问题。解决了存算分离...
EMR Doctor常见问题
本文汇总了EMR Doctor使用时的常见问题。哪些集群类型支持EMR Doctor功能？EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor都会采集哪些数据？EMR Doctor收费吗？采集操作会对任务的运行会产生什么影响？...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
常见问题
本文汇总了使用Zookeeper时的常见问题。ZooKeeper服务不稳定，发生异常重启等情况，怎么办？如何平滑迁移ZooKeeper的数据目录？ZooKeeper服务不稳定，发生异常重启等情况，怎么办？造成服务不稳定的情况可能有很多，最常见的情况是znode...
常见问题
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘和系统盘）扩容。本文为您介绍如何对磁盘进行扩容。背景信息 根据E-MapReduce版本和磁盘属性不同，E-MapReduce支持的磁盘扩容方式也不同，具体说明如下：数据盘：...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
Delta Lake概述
下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE CTAS DELETE DESC HISTORY INSERT MERGE OPTIMIZE UPDATE VACUUM SAVEPOINT ROLLBACK CREATE 说明 ...
创建工作空间
单击 创建数据目录，在弹出的对话框中输入 目录ID，选择 目录路径，然后单击 确定。详情请参见 数据目录。在 DLF Catalog 下拉列表中，选择您新建的数据目录。emr-dlf 瞬时资源上限 工作空间同时处理任务的最大并发CU数量。100 工作空间...
HDFS Web UI介绍
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
- 产品推荐
- 这些文档可能帮助您