如何解决MSE Nacos开源控制台无法使用问题
可能原因 MSE Nacos在开启鉴权功能时，使用的是 阿里云RAM控制台，不支持开源的默认鉴权插件。在开启RAM鉴权后，开源控制台也因为缺少RAM用户信息，导致控制台无法使用。关于MSE Nacos鉴权功能的详细信息，请参见 Nacos Client访问鉴权。...
Paimon数据源
如果未配置 dlf.catalog.id 参数的值，则系统将使用默认DLF Catalog。示例 以下示例创建了一个名为 paimon_catalog 的Paimon Catalog，其元数据类型 paimon.catalog.type 为 dlf，用于查询Paimon集群里的数据。CREATE EXTERNAL CATALOG ...
YARN概述
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型...
安装HBase Java SDK
如果客户端是开源HBase 1.x版本，您可以在Maven项目的 pom.xml 文件中添加以下依赖来安装HBase Java SDK。groupId>...
新功能发布记录
2022-08-05 使用EMR-CLI自定义部署Gateway环境 2022年7月 功能名称 功能概述 发布时间 相关文档 EMR Doctor E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。2022-07-25 EMR Doctor...
管理工作流实例
（暂停）对正在运行的工作流实例进行 暂停 操作，系统状态变为 准备暂停，会等待正在执行的任务结束，暂停下一个要执行的任务。（删除）删除工作流实例及工作流实例下的任务实例。（甘特图）甘特图纵轴是当前工作流实例下的任务实例的拓扑...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
基本概念
用户（Account）用户是访问控制功能中的概念，支持将RAM用户添加为成员，并授予相应的权限，才能操作工作空间中的任务、资源等。角色（Account Role）角色是访问控制功能中的概念。多个用户可以同时存在于一个角色下，一个用户也可以隶属于...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
SmartData 3.0.x版本简介
JindoFS缓存优化 改进缓存数据磁盘组织，解除对系统盘的依赖，实现数据盘之间完全独立，增强磁盘下线操作。改进缓存服务，增强节点容错处理和节点下线操作。改进缓存块写入磁盘的选择策略，默认支持轮询（Round Robin）。改进读写流程，...
基本概念
工作流版本 工作流版本是指每当对工作流程进行修改操作（例如，添加或删除节点、变更依赖关系等）并保存后，系统会自动创建一个新的流程修订版本。任务版本 任务版本是指每当对具体任务进行修改操作（例如，修改执行参数、调整资源配置等）...
为RAM用户授权
为确保RAM用户能正常使用...权限策略 权限策略分为系统策略和自定义策略：系统策略 EMR Serverless StarRocks使用的系统策略如下。系统策略名称 描述 包含的权限 AliyunEMRStarRocksFullAccess EMR Serverless StarRocks管理员权限 所有权限。...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
为RAM用户授权
选择权限 在 系统策略 中，输入EMR搜索EMR相关权限策略，然后单击需要授予RAM用户的权限策略，选择该权限。各权限策略的详细说明，请参见 权限策略。单击 确定。单击 完成。完成授权后，权限立即生效，您可以使用RAM用户身份登录 阿里云E-...
技术支持的范围和方式
不负责处理因客户行为（例如，用户自定义脚本错误、任务写满磁盘、删除系统目录、资源使用不合理等）导致EMR管控操作阻塞或者不可用。不负责基于EMR组件之上的客户业务应用开发问题答疑和处理，例如，业务实现、代码开发、作业性能调优和...
SmartData 3.6.x版本简介
Object Store API优化了Copy和Rename等操作，提升了执行效率。JindoSDK支持OSS服务端缓存优化 JindoSDK支持OSS加速器功能，开启后，您可以根据加速器的容量定制OSS的访问带宽。JindoSDK支持OSS二级域名Endpoint JindoSDK新功能，开启后，...
存储说明
磁盘角色 描述 系统盘 系统盘用于安装操作系统。E-MapReduce默认使用ESSD云盘作为集群的系统盘。系统盘默认是一块。数据盘 数据盘用于保存数据。Master实例默认挂载1块云盘作为数据盘，Core实例默认挂载4块云盘作为数据盘。云盘与本地盘 E-...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
JindoFS FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
管理手动任务
在 运行手动任务 对话框中，选择已有的 调度资源组，系统会根据您选定的调度资源组自动匹配 执行集群，单击 确定。手动任务定义操作 在 手动任务定义 页面，您可以进行以下操作。操作 说明（编辑）只能编辑未被上线状态的工作流关联的手动...
运行指定操作
调用RunClusterServiceAction接口对集群的指定服务，运行指定的操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
产品计费
CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务的实际处理的数据量、计算复杂程度，以及处理的数据分布情况。您可以根据业务规模和数据量合理评估需要的资源数据。基础版工作空间1 CU的处理能力如下表...
查询操作历史的主机列表
调用ListClusterOperationHost接口，查询操作历史的主机列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
- 产品推荐
- 这些文档可能帮助您