新功能发布记录
2023-10-23 全部 规格介绍 2022年07月 功能名称 功能描述 发布时间 发布地域 相关文档 支持宿主机规格g6e、r6e、c6e 支持通用平衡增强型宿主机规格g6e、内存平衡增强型宿主机规格r6e和计算平衡增强型宿主机规格c6e。2022-07-08 全部 规格...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
云备份客户端问题诊断工具
您可使用该工具自助诊断客户端环境的各种安装、备份、恢复、网络连通性等问题。本文介绍诊断工具的安装及使用方法。下载诊断工具（免安装）云备份 提供的客户端问题诊断工具主要有以下版本，您可以按照客户端安装服务器的系统版本选择合适...
管理日志
如果您使用的是RAM用户，请使用阿里云账号登录RAM控制台，为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限，具体操作请参见 为RAM用户授权。查询实时日志 进入日志管理页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
AddFingerprintToOIDCProvider-为OIDC身份提供商添加...
接口说明 使用说明 本文将提供一个示例，为名为 TestOIDCProvider 的 OIDC 身份提供商添加一个验证指纹 902ef2deeb3c5b13ea4c3d5193629309e231*。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
EMR Notebook公测说明
本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步按地域开启公测，公测面向所有用户开放。您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Notebook EMR Notebook角色授权 快速使用EMR Notebook
EMR对接外部KDC
EMR-3.43.1及后续版本，EMR-5.9.1及后续版本的E-MapReduce（简称EMR）集群支持在创建集群时对接您外部自建的KDC（Key Distribution Center）。这意味着当您在EMR集群中使用Kerberos身份验证时，您可以选择使用由集群创建的KDC，也可以选择...
配置监控告警
更多信息，请参见 什么是云监控。开启一键告警 您可以开启云监控的一键告警功能，快速自动建立Serverless StarRocks指定监控项的报警体系，以便及时获取关键监控指标的异常信息。重要 开启此功能后，会创建磁盘IO使用率、CPU空闲率和磁盘...
EMR控制台管理YARN分区
使用限制 适用于EMR-5.11.1及之后版本、EMR-3.45.1及之后版本。集群状态为运行中。YARN调度器需使用capacity scheduler。注意事项 新增或编辑分区后，需要单击部署生效，请在业务低峰期进行操作。如果YARN调度器切换为fair scheduler，则...
通过公网访问Kafka
本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务，包括修改相关配置以监听公网接口以及设置对应的安全组规则，从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。新建集群时，开通公网服务 新建Dataflow集群时，打开...
EMR数据开发（旧版）停止全面支持公告
E-MapReduce（简称EMR）数据开发（旧版）已于2022年2月21日21点停止更新，进入维护状态，详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等...
EMR Serverless Milvus免费公测说明
介绍EMR Serverless Milvus的免费公测说明。公测说明 EMR Serverless Milvus已开启免费...什么是EMR Serverless Milvus 快速创建Milvus实例 联系我们 如果在使用EMR Serverless Milvus的过程中遇到任何疑问，可加入钉钉群 59530004993 咨询。
基于Kubeflow的Training示例
cd default-strategy-estimator-volume-pvc-6cd2979e-f925-45b7-8c25-ce67e12e2f03 说明 default-strategy-estimator-volume-pvc-6cd2979e-f925-45b7-8c25-ce67e12e2f03 需要替换为您实际生成的目录。执行以下命令，进入 master 目录。cd ...
快速使用EMR Workflow
它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以HIVECLI任务类型为例，为您介绍如何快速使用EMR Workflow。前提条件 已完成系统角色授权，详情...
按量计费
E-MapReduce（简称EMR）支持包年包月和按量付费两种付费模式。本文为您介绍按量计费模式的详情。特性 说明 计费说明 按量付费是一种先使用后付费的计费方式。通过按量付费，您可以按需开通和释放资源，无需提前购买大量资源。适用场景 按量...
QueryMediaIndexJob-查询媒资索引任务
c2e77390f75271ec802f0674a2ce6*返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求 ID。4E84BE44-58A7-*-*-FBEBEA16EF94 Success string 是否调用成功。取值：true：成功 false：失败 true Code string ...
使用LDAP认证
开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。前提条件 已创建DataLake或自定义集群，且选择了Hive和OpenLDAP服务，详情请参见 创建集群。一键配置LDAP认证 添加EMR用户，详情请参见 添加用户。进入集群服务页面。...
GetProductQuota-查询目标云产品的配额详情
limitReached Consumable boolean 是否显示“已使用”的配额。取值：true：显示“已使用”的配额。false：不显示“已使用”的配额。true TotalQuota float 配额值。801 ProductCode string 云产品名称缩写。ecs EffectiveTime string 配额...
系统事件
系统事件的使用方式与功能介绍请 查看系统事件 和 使用云产品事件报警功能。模板执行状态通知 系统运维管理 系统在模板执行状态发生变化时发出通知：当前仅支持在执行状态变为Failed时发出事件通知 云产品动作创建的子执行不发出事件通知 ...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
管理LDAP认证
开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。前提条件 已创建DataLake集群，且集群选择了Spark和OpenLDAP服务。创建集群详情请参见 创建集群。说明 本文示例为Spark3。操作步骤 添加EMR用户，详情请参见 添加用户。...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
常见命令
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Kudu命令来操作。本文为您介绍Kudu的常见命令。前提条件 已创建集群，并且选择了Kudu服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。查看Master列表 语法 kudu ...
ListInstancePatchStates-列出实例修补程序状态
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
查询节点实例容器日志
说明 DescribeFlowNodeInstanceContainerLog接口由于数据限流，返回率不高，所以不建议使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称...
通用流程
若您使用的是旧版SDK，建议您切换为新版SDK，获取最新功能。对比项 新版SDK 旧版SDK 提交请求 getAcsResponse()execute()存放AccessKey的类 IClientProfile AliyunClient 存放身份凭据对象 DefaultProfile.getProfile(RegionId,AccessKey,...
包年包月
E-MapReduce（简称EMR）支持包年包月和按量付费两种付费模式。本文为您介绍包年包月付费模式的详情。计费说明 特性 说明 计费概述 包年包月，即预付费，是一种先付费后使用的计费方式。通过包年包月，您可以提前预留资源，同时享受更大的...
使用OSS进行数据冷热分离
本文为您介绍在阿里云E-MapReduce的ClickHouse集群上，如何通过OSS进行数据的冷热分离。通过本文操作，您既可以在保证集群读写性能的基础上，自动维护集群上的冷热数据，又可以充分利用计算和存储资源，以降低成本。前提条件 已在EMR控制台...
使用HDFS进行数据冷热分离
本文为您介绍在阿里云E-MapReduce的ClickHouse集群上，如何通过HDFS进行数据的冷热分离。通过本文操作，您既可以在保证集群读写性能的基础上，自动维护集群上的冷热数据，又可以充分利用计算和存储资源，以降低成本。前提条件 已在EMR控制...
SubmitLiveRecordJob-提交实时录制任务
ab0e3e76-1e9d-11ed-ba64-0c42a1b73d66 示例 正常返回示例 JSON 格式 {"RequestId":"BEA98A0C-7870-15FE-B96F-8880BB600A2C","JobId":"ab0e3e76-1e9d-11ed-ba64-0c42a1b73d66"} 错误码 访问 错误中心 查看更多错误码。
使用kubectl管理作业
您可以在EMR on ACK控制台管理您的...b6a43b55-a354-44d7-ae5e-45b8b1493edb/spark-56aae0d1-37b9-4a7d-9c99-4e4ca12deb4b 21/07/22 14:37:57 INFO ShutdownHookManager:Deleting directory/tmp/spark-e2500491-6ed7-48d7-b94e-a9ebeb899320
通过EMR StarRocks Manager连接StarRocks实例
1,415,'fbec0dd7-3726-11ee-a3ef-720338511ec3','10.0.*.*','FINISHED','admin'),('54658','tpc_h_sf1',1691635107632,1691635107860,1691635107860000000,1,228,'fc4e0301-3726-11ee-a3ef-720338511ec3','10.0.*.*','FINISHED','admin'),...
Streaming SQL作业配置
1.9.0 2019/11/20 sharedlibs:streamingsql:datasources-bundle:1.9.0 支持数据源：Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub、Redis和Kudu。1.8.0 2019/10/17 sharedlibs:streamingsql:datasources-bundle:1.8.0 支持数据...
ListInstances-查询云渲染实例列表
RUNNING","InstanceId":"gcs-bmt0kbn7e013aedg9","DistrictId":"huadong","ProjectId":"4820372607851300489003","CreationTime":"2023-12-13T11:12:11Z","InstanceType":"gcs.r1c1m1.1xlarge"}],"RequestId":"46329898-489C-4E63-9BA1-C1...
管理LDAP认证
开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。前提条件 已创建选择了Trino和OpenLDAP服务的集群，详情请参见 创建集群。注意事项 如果EMR-3.43.1、EMR-5.9.1版本开启LDAP后连接不上，应该是Worker节点缺少配置，需...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
节目单查询
bf93880e*</CurrentShowId><HighPriorityShowId>a2b8e671-2fe5-4642-a2ec-bf93880e*</HighPriorityShowId><ShowList><ShowName>liveShow*</ShowName><Duration>20</Duration><RepeatTimes>5</RepeatTimes><ShowId>a2b8e671-2fe5-4642-a2ec-...
DescribeScdnCcTopIp
返回数据 名称 类型 示例值 描述 RequestId String FA2EE241-5E9D-488A-B36E-408BF81C077E 请求ID。Total String 246 攻击IP数量。DomainName String example.com 安全加速域名。AttackIpDataList Array of AttackIpDatas 每个时间间隔的...
基础使用
本文为您介绍E-MapReduce中DeltaLake的配置信息及其常用命令的示例。DeltaLake配置信息 EMR中DeltaLake的默认配置信息如下：Spark 2.X环境 spark.sql.extensions io.delta.sql.DeltaSparkSessionExtension Spark 3.X环境 spark.sql....
- 产品推荐
- 这些文档可能帮助您