查看集群信息
保留集群基本配置信息，包括集群名称和集群ID，但是集群不可用。说明 配置信息在集群列表中保留7天。释放失败：集群释放失败。已释放：集群已释放。仅保留集群配置信息，不保存集群作业信息。异常：当前集群异常。集群资源使用量 显示集群...
场景：注册跨账号的EMR集群
该操作必须通过RAM角色访问的方式执行。...创建EMR集群，详情请参见 创建集群。...基于该集群进行数据集成同步操作。详情请参见 数据集成概述。进入运维中心、数据地图，查看集群的更多详细信息。详情请参见 运维中心概述、数据地图概述。
创建StarRocks集群
本文为您介绍创建StarRocks集群的详细操作步骤和相关配置。前提条件 已在目标地域创建一个专有网络和交换机，详情请参见 创建和管理专有网络 和 创建和管理交换机。操作步骤 进入创建集群页面。登录 E-MapReduce控制台。可选：在顶部菜单栏...
为Spark集群关联RSS
目前Spark Shuffle方案缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中存在大量的网络小包导致的Connection reset问题。Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。...
使用Druid
对于独立的E-MapReduce Druid集群，如果您需要存放索引数据至一个Hadoop集群的HDFS，请设置两个集群的连通性（详情请参见 与Hadoop集群交互）。在E-MapReduce Druid 配置 页面的 common.runtime 页签，配置如下参数。参数 描述 druid....
查看集群日报与分析
集群总览分析 在集群总览信息中，您可以获取以下图表信息：集群健康度评分趋势图 集群分区均衡度趋势图 集群分区数量分布饼图 集群请求数趋势图 总表数、总分区数、总节点数、平均负载、总数据量、总读请求数、总写请求数、总请求数 ...
集群资源规格评估建议
本文主要介绍通过简单规则来评估一般业务场景下EMR Kafka集群所需硬件资源。实际业务场景中，您可以通过这些规则评估出资源规模后，再结合负载测试来确定最终的集群规格。集群创建后，您也可以根据实际资源使用率通过集群扩容功能来变更...
设置集群身份映射
CDP与CDH的集群身份映射配置操作基本一致，本文以CDH为例，为您介绍相关操作详情。映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，...
E-MapReduce快速入门
业务场景 数据湖 选择适合的业务场景，创建集群时阿里云EMR会自动为您配置默认的组件、服务和资源，以简化集群配置，并提供符合特定业务场景需求的集群环境。产品版本 EMR-5.14.0 当前最新的软件版本。服务高可用 不开启 默认不开启。打开 ...
ListClusters-查询集群
查询EMR集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId...
数据服务集群
DataServing是阿里云E-MapReduce提供的基于Apache HBase的数据服务集群类型。本文为您介绍数据服务集群支持的特性，适用场景以及技术架构。特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。...
创建ClickHouse集群
本文为您介绍创建ClickHouse集群的详细操作步骤和相关配置。背景信息 机型、内存和磁盘的设置，请参见 Usage Recommendations。前提条件 已在目标地域创建一个专有网络和交换机，详情请参见 创建和管理专有网络 和 创建和管理交换机。操作...
CreateCluster-创建集群
创建一个按量付费或者预付费（包年包月）的集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
创建DataFlow Kafka集群
由于业务场景差异很大，所以无法给出通用的集群规划，您需要根据您的实际环境创建集群。通常，建议您选择机型时考虑以下配置：Broker机型的CPU和内存配比为1：4。选择云盘作为数据存储盘。充分考虑云盘的IO吞吐率以及网卡带宽之间的关系。...
开启数据盘加密
加密数据盘后，数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 数据盘加密的详细...
配置弹性伸缩（仅Hadoop集群类型）
规定负载伸缩：如果您无法准确的预估大数据计算的波峰和波谷，则可以使用按负载伸缩配置的策略。伸缩规则分为扩容规则和缩容规则，本示例以扩容规则为例介绍。集群关闭弹性伸缩功能后，所有规则会被清空，再次开启弹性伸缩功能时，需要重新...
ListDoctorReports-批量获取集群报告
其中''低分任务算力内存时(GB*Sec)Top20 ''表根据内存时使用量进行排序，由于大任务对集群整体影响可能更大，建议优先关注。li><strong><span style=''color：#D93026;''>内存利用率较低</span></strong><ul><li>集群整体内存利用率...
多租户和资源划分
Doris的多租户和资源隔离方案，主要目的是为了多用户在同一Doris集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。该方案主要分为两部分，一是集群内节点级别的资源组划分，二是针对单个查询的资源限制。...
配置项说明
阿里云E-MapReduce（简称EMR）的ClickHouse集群中，主要提供了四种服务配置项以配置ClickHouse集群，包括客户端配置、服务端配置、用户权限配置和拓展配置。本文为您介绍ClickHouse服务的客户端配置、服务端配置和拓展配置。背景信息 ...
使用CreateCluster API创建集群
CreateCluster用于创建一个新的集群。在实际操作中，调用CreateCluster API接口以构建新集群的过程涉及众多参数，其中尤以Applications服务列表及其关联的ApplicationConfigs配置项最为复杂和关键。本文将对CreateCluster API中的核心参数...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
设置集群身份映射
数据权限 您可在EMR集群通过权限管理相关组件服务实现DataWorks上各用户的数据权限隔离。例如，通过Ranger组件对阿里云账号对应的集群用户进行权限管控。详情请参见 Ranger概述。如果EMR已将DLF设置为元数据服务，并开启DLF-Auth组件实现...
GetDoctorHBaseCluster-获取 HBase 集群信息
获取 HBase 集群维度指标信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...
管理节点组（Hadoop、Data science和EMR Studio集群）
例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大数据离线处理，计算型实例（vCore:vMem=1 vCPU:2 GiB）用于模型训练。前提条件 已在EMR控制台创建Hadoop、Data science或EMR studio集群，详情请参见 创建集群。使用限制 支持新增...
JMX连接器
您可以通过JMX连接器查询Presto集群中所有节点的JMX信息。通过修改本连接器的配置，可以实现JMX信息定期转储的功能。本连接器通常用于系统监控和调试。前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见 创建集群...
GetCluster-获取集群
c-b933c5aac8fe*返回参数 名称 类型 描述 示例值 object 返回数据 Cluster Cluster 集群详情。RequestId string 请求 ID。DD6B1B2A-5837-5237-ABE4-FF0C8944*示例 正常返回示例 JSON 格式 {"Cluster":{"RegionId":"cn-hangzhou",...
创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
实现开发生产等多套环境隔离
背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求，如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用...
从Kafka导入数据至ClickHouse
您可以通过Kafka表引擎导入数据至ClickHouse集群。本文为您介绍如何将Kafka中的数据导入至ClickHouse集群。前提条件 已创建DataFlow集群，且选择了Kafka服务，详情请参见 创建集群。已创建ClickHouse集群，详情请参见 创建集群。使用限制 ...
功能特性
分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...
查询集群机器组列表
调用ListClusterHostGroup接口，查询集群机器组列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
Elasticsearch数据迁移至MaxCompute
本文为您介绍如何通过DataWorks数据同步功能，迁移阿里云Elasticsearch集群上的数据至MaxCompute。前提条件 已开通MaxCompute服务。开通指导，详情请参见 开通MaxCompute和DataWorks。已开通DataWorks服务。开通指导，详情请参见 开通...
查询高可用集群中的数据
本文为您介绍如何配置StarRocks实例，以查询高可用集群中的数据。前提条件 已创建包含了HDFS服务，并且开启了服务高可用的集群（例如DataLake或Custom类型），详情请参见 创建集群。已创建StarRocks实例，详情请参见 创建实例。操作步骤 ...
创建ClickHouse数据源
若您要使用DataWorks进行ClickHouse集群任务的开发、管理，需先将您的ClickHouse集群创建为DataWorks的ClickHouse数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接ClickHouse集群，进行相应的数据同步、数据开发、数据分析...
从RDS导入数据至ClickHouse
您可以通过RDS MySQL表引擎或表函数导入数据至ClickHouse集群。本文为您介绍如何将RDS中的数据导入至ClickHouse集群。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。已创建ClickHouse集群，详情请参见 创建集群。使用RDS MySQL表引擎...
查询集群主机列表
调用ListClusterHost接口查询集群主机列表，包括磁盘和CPU内存配置等信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
通过数据湖元数据DLF读写Hudi
EMR-3.38.3及后续版本的DataFlow集群，可以通过数据湖元数据DLF（Data Lake Formation）作为元数据读取DataLake集群或自定义集群中的数据。本文为您介绍Dataflow集群如何连接DLF，并读取Hudi全量数据。前提条件 已在E-MapReduce控制台上...
ListDoctorComputeSummary-批量获取集群资源使用结果
通过EMR Doctor根据过滤条件批量获取集群资源使用情况。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
创建集群
调用CreateClusterV2，创建一个E-MapReduce集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，无法使用该接口创建集群，请使用 CreateCluster。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰...
常见问题
本文汇总了DataFlow集群使用时的常见问题。集群使用与运维：DataFlow集群外的机器，如何提交作业到DataFlow集群？在DataFlow集群外机器上，如何解析DataFlow集群中的hostname？如何查看Flink作业的运行状态？如何访问Flink作业的日志？如何...
- 产品推荐
- 这些文档可能帮助您