配置集群管理密码
对于CentOS系统，您可以通过 yum install httpd 命令安装httpd，然后使用 htpasswd 命令；对于Ubuntu，您可以通过 apt-get install apache2-utils 命令安装httpd，然后使用 htpasswd 命令。说明 这些命令和软件包的具体使用方式可能因系统...
查看集群资源概览
EMR弹性伸缩功能提供集群资源变化分析和弹性伸缩规则推荐。...如果您的集群资源存在明显的峰谷变化且未配置弹性伸缩规则，则系统将自动推荐配置弹性伸缩规则。您可以参考推荐规则为集群节点组配置弹性伸缩，具体操作请参见 添加弹性伸缩规则。
释放集群
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ReleaseCluster 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ReleaseCluster。Id String 是 C-D7958B72E59B*集群ID。您可以调用 ...
重启服务
开启后，系统会按照 每批间隔时间 执行任务。您可以设置 每批间隔时间，即每隔多长时间执行一次任务。失败处理策略 单节点失败继续执行：执行任务时，如果单节点检查失败，继续其他节点的执行任务。单节点失败终止任务：执行任务时，如果单...
应用场景
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
阿里云账号角色授权
使用EMR Serverless Spark前，需要授予您的阿里云账号 AliyunServiceRoleForEMRServerlessSpark 和 AliyunEMRSparkJobRunDefaultRole 系统默认角色。本文为您介绍角色授权的基本操作。授权流程 通常，第一次 购买产品 时，需要您进行自动化...
退款说明
在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例时，相当于对EMR集群降配。每释放一个ECS实例，将生成一笔降配退款订单。当ECS实例为空，即对EMR降配到0。降配时，将退还对应的EMR服务费用，规则如下：降配退款...
扩容磁盘
使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不支持系统盘扩容。仅云盘类型（ESSD云盘、SSD云盘或高效云盘）的数据盘支持扩容，本地盘无法进行扩容。仅节点组状态为运行中时才可以进行磁盘扩容操作。Hadoop集群类型中通过弹性伸缩...
授予OSS和DLF权限
本文为您介绍添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，以便于您可以使用DLF服务，以及授权组件免AccessKey访问OSS。...在 新增授权 页面，选择并添加系统策略 AliyunOSSFullAccess 和 AliyunDLFFullAccess。单击 确定。单击 完成。
RAM用户授权
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。选择权限 在 系统策略 中搜索并选择 AliyunMilvusFullAccess 权限。AliyunMilvusFullAccess权限内容 {"Statement":[{"Effect":"Allow",...
添加服务
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddClusterService 系统规定参数。取值：AddClusterService。ClusterId String 是 C-F32FB31D8295*待添加服务的集群ID。RegionId String 是 cn-hangzhou 集群对应的地域ID。...
计费概述
续费说明 欠费说明 按量付费的集群欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明 退款说明 为您介绍阿里云E-MapReduce的退费规则及相关操作。退款说明 查看账单 如果您对阿里云E-MapReduce的消费...
NodeGroup
false SpotInstanceRemedy boolean 开启补齐抢占式实例后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：...
OSS/OSS-HDFS概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
管理事件
E-MapReduce（简称EMR）会记录当前集群资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看集群的事件，并在云监控控制台中设置事件告警。使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和...
监控
ClickHouse的监控指标分为3组，分别来自ClickHouse的三个系统表metrics、events和asynchronous_metrics。查看节点监控 查看节点监控又分为节点部署状态和查看节点详细监控指标。查看部署状态 进入集群服务页面。登录EMR on ECS控制台。在...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。...系统会自动为SELECT语句加上'limit 2000'的限制。select*from test1;单击 保存，作业内容编辑完成。
请求结构
公共请求参数>是系统规定的公共参数。服务地址 API的常用服务接入地址，如下所示。地域 服务地址 cn-hangzhou：杭州 emr.aliyuncs.com cn-beijing：北京 emr.aliyuncs.com cn-shanghai：上海 emr.aliyuncs.com cn-shenzhen：深圳 emr....
EMR on ACK商业化公告
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
RAM用户授权
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。选择权限 在 系统策略 中搜索并选择 AliyunEMRServerlessSparkFullAccess 权限。AliyunEMRServerlessSparkFullAccess权限内容 {...
释放集群
包年包月EMR集群到期前，如您不再使用集群，可选择释放ECS实例，在释放ECS实例时，系统将同时退还您EMR未使用部分的款项，您可以在阿里云控制台上方，选择 费用>订单 查看，具体请参见 退款说明。操作步骤 进入EMR on ECS页面。登录 E-...
删除资源队列
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteResourceQueue 系统规定参数。取值：DeleteResourceQueue。ClusterId String 是 C-EBD62A703A430E23 集群ID。您可以调用 ListClusters 查看集群的ID。RegionId String 是 ...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
删除集群模版
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteClusterTemplate 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteClusterTemplate。BizId String 是 CT-35498C56B3F1*模板ID...
管理工作空间
前提条件 已完成系统角色授权，详情请参见 EMR Notebook角色授权。账号与访问权限 账号类型 说明 阿里云账号（主账号）拥有工作空间的所有操作权限。RAM用户 未授权前：不支持创建和删除工作空间。授权后：授权RAM用户 ...
删除作业
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowJob 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowJob。Id String 是 FJ-BBCAE48B90CC*作业ID。您可以调用 ...
创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
集群节点供应支持尽力交付模式
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。产品文档 管理...
为RAM用户授权
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。选择权限 在 系统策略 中搜索并选择 AliyunEMRWorkflowAdmin 权限。AliyunEMRWorkflowAdmin权限内容 {"Version":"1","Statement":[{...
为RAM用户授权
为确保RAM用户能正常使用...权限策略 权限策略分为系统策略和自定义策略：系统策略 EMR Serverless StarRocks使用的系统策略如下。系统策略名称 描述 包含的权限 AliyunEMRStarRocksFullAccess EMR Serverless StarRocks管理员权限 所有权限。...
删除工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlow。Id String 是 F-7A39731FE719*工作流ID。您可以调用 ...
克隆作业
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlowJob 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：CloneFlowJob。Id String 是 FJ-244582F1934C*克隆的目标作业ID。您可以...
修改集群名称
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyClusterName 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ModifyClusterName。Id String 是 C-D7958B72E59B*集群ID。您可以调用...
删除项目用户
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowProjectUser 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowProjectUser。ProjectId String 是 FP-257A173659F5*...
重命名目录
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyFlowCategory 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ModifyFlowCategory。Id String 是 FC-ABCDEFGHI*目录ID。您可以调用...
基本概念
工作流版本 工作流版本是指每当对工作流程进行修改操作（例如，添加或删除节点、变更依赖关系等）并保存后，系统会自动创建一个新的流程修订版本。任务版本 任务版本是指每当对具体任务进行修改操作（例如，修改执行参数、调整资源配置等）...
管理工作空间
前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。使用限制 仅阿里云账号（主账号）有权限进行创建和删除工作空间的操作。创建工作空间 使用阿里云账号（主账号）登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench...
解绑标签
请求参数 名称 类型 是否必选 示例值 描述 Action String 否 UntagResources 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：UntagResources。RegionId String 是 cn-hangzhou 地域ID。您可以调用 ...
Hudi数据源
如果未配置 dlf.catalog.id 参数的值，则系统将使用默认的DLF Catalog。示例 以下示例创建了一个名为 hudi_catalog 的Hudi Catalog。CREATE EXTERNAL CATALOG hudi_catalog PROPERTIES("type"="hudi","hudi.catalog.uris"="thrift:/xx.xx....
- 产品推荐
- 这些文档可能帮助您