大数据集群平台-大数据集群平台文档介绍内容-阿里云

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

DataFlow<em>集群</em>通过Hive Catalog连接<em>数据</em>湖元数据DLF

EMR-3.38.3及后续版本的EMR集群可以使用数据湖元数据DLF（Data Lake Formation）服务对集群数据进行统一管理，EMR中的Flink组件在开源Flink基础上增加了与DLF适配的功能。本文为您介绍如何在EMR集群上通过Flink SQL创建Hive Catalog连接到...

查看集群信息

本文为您介绍如何查看Data Science集群的列表信息和详细信息。前提条件已在EMR on ACK上创建Data Science类型的集群，创建详情请参见创建Data Science集群。查看集群列表登录 EMR on ACK。在EMR on ACK页面，可以查看集群列表信息。参数...

创建集群模板

调用CreateClusterTemplate接口，创建一个E-MapReduce集群模板。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

克隆集群

前提条件已创建数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景（Custom）的集群，详情请参见创建集群。使用限制如果已有集群的产品版本、业务场景或地域不存在，则不支持克隆。...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

项目管理

创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件已创建集群，详情请参见创建集群。...

HBase存算一体转存算分离

本文为您介绍对于EMR-HBase集群，如何将存算一体架构转换为存算分离架构。操作步骤停止HBase服务。首先通过flush操作来保证内存中所有表的数据都已经刷新到HFile，并执行Disable table来禁用相关的表，避免写入新的数据。停止HMaster和...

HDFS的部署拓扑

本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群节点组件描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...

快速使用ClickHouse

本文通过示例为您介绍，如何快速将数据随机写入ClickHouse集群各个节点的本地表。前提条件已创建ClickHouse集群，详情请参见创建ClickHouse集群。操作步骤使用SSH方式登录ClickHouse集群，详情请参见登录集群。执行以下命令，下载官方...

查看集群资源概览

前提条件已创建数据湖（DataLake）或自定义场景（Custom）类型的集群，且选择了YARN服务。创建集群详情，请参见创建集群。操作步骤进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况选择地域和资源组。单击目标集群的...

查看服务监控指标

E-MapReduce（简称EMR）自动采集集群服务指标，并自动同步到云监控服务。您可以在EMR控制台查看集群服务常用指标，并可以在云监控控制台设置指标的阈值告警及自定义设置图表大盘。前提条件已创建集群，详情请参见创建集群。在EMR控制台...

查询集群基本信息

Status String IDLE 集群状态：CREATING：集群创建中 CREATE_FAILED：集群创建失败 RUNNING：运行中 IDLE：集群空闲 RELEASING：集群释放中 RELEASE_FAILED：集群释放失败 RELEASED：集群已释放 WAIT_FOR_PAY：待支付 ABNORMAL：集群状态...

HDFS组件使用的本地磁盘目录

本文分别为您介绍非高可用集群和高可用集群的HDFS组件使用的本地磁盘目录。警告组件使用目录被无故删除时，可能会造成服务异常，甚至数据丢失。非高可用集群组件使用目录描述 NameNode/mnt/disk1/hdfs/name/mnt/disk1/hdfs/edit/mnt/...

更换集群损坏的本地盘

使用由本地盘机型（i系列和d系列）构建的E-MapReduce（简称EMR）集群时，您可能会收到本地盘受损事件的通知。本文为您介绍如何更换集群中损坏的本地盘。注意事项建议您使用缩减异常节点并增加新节点的方法来解决此类问题，以避免对业务...

创建Doris集群

本文为您介绍创建Doris集群的详细操作步骤和相关配置。操作步骤进入创建集群页面。登录 EMR on ECS。可选：在顶部菜单栏处，根据实际情况选择地域和资源组。地域：创建的集群将会在对应的地域内，一旦创建不能修改。资源组：默认显示账号...

通过集群模板创建集群

使用现有的集群模板直接一键创建集群，可以省去重复选择各配置项的时间。本文为您介绍如何通过集群模板创建集群。前提条件已创建集群模板，具体操作请参见创建集群模板。操作步骤进入管理集群模板页面。登录 E-MapReduce控制台。在左侧...

登录集群

数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景的集群登录集群主节点，详情请参见登录集群主节点。在Master节点上切换到emr-user账号。su emr-user 免密码登录到对应的Core节点或...

大数据集群平台

新品推荐