管理配置信息
提交配置修改请求后，如果修改的配置项在修改后需要重启，则会在修改完配置后重启实例，实例会进入 更新配置中 的状态，且在 操作历史 页签会增加一条配置修改记录。查看操作历史 操作历史页面会展示近30天的配置操作记录。您可以选择开始...
配置hosts
Presto on ACK提供了自定义hosts功能，当...在 组件列表 区域，单击 TrinoCoordinator 和 TrinoWorker 操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。服务重启完成后，即可正常访问Hive数据。
配置集群管理密码
操作步骤 进入password.db页签。...在 组件列表 区域，单击 TrinoCoordinator 操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。服务重启完成后，即可使用新密码访问UI和提交作业。
YARN缺陷修复公告
背景信息 YARN-4946引入缺陷，YARN ResourceManager删除历史应用作业时增加了日志收集已完成的必要条件，但日志收集的状态没有保留到ResourceManager State Store中，所以重启后ResourceManager加载的历史应用都是未完成状态，无法被...
升级节点配置
滚动重启 不开启（默认）：表示同时重启当前节点组内所有ECS实例。开启：表示当前节点组内一个ECS实例重启完成且该实例上的大数据服务全部恢复后再启动下一个ECS实例。单击 确定。生成订单需要等待一定时间。支付订单。支付完成后，控制台...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
管理配置项
Shuffle Service集群的配置生效后，需要重启组件才能使新配置生效，重启详情请参见 重启服务。添加配置项 进入配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 配置。添加配置项。在 配置 页面，单击待操作的页...
调整YARN队列
在 组件列表 区域，单击 HiveServer2 所在行的 重启。在 执行集群操作 对话框，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。重启Spark的ThriftServer组件。在左侧导航栏中，选择 集群服务>Spark。在 组件列表 区域，单击 ...
基础使用
本文为您介绍如何连接...执行以下命令，使用命令行工具 zkCli.sh 连接ZooKeeper。zkCli.sh-server master-1-1:2181 连接成功后，即可输入 help 显示所有命令。相关文档 关于ZooKeeper的更多介绍，请参见 ZooKeeper Getting Started Guide。
EMR Kafka ECS磁盘事件处理
如果ECS修复磁盘事件流程中，要求重启ECS，则可以按照如下步骤重启：在EMR控制台停止故障Broker节点服务。重启故障ECS实例。在ECS修复磁盘事件流程中，单击 重启。在EMR控制台启动故障Broker节点服务。观察Broker节点状态是否处于正常状态...
YARN资源配置
为避免影响您的作业，新增节点组第一次扩容配置 yarn.scheduler.maximum-allocation-mb 时不会触发ResourceManager重启，如果需要配置生效，则需要手动重启一次ResourceManager。说明 建议业务低峰期时重启ResourceManager，组件重启过程中...
配置连接器
修改内置连接器 您可以在EMR控制台的Presto服务的 配置 页面，修改各个连接器对应的配置文件，然后重启Presto服务。连接器与配置文件对应关系如下表。连接器名称 配置文件 hive-hadoop2 hive.properties kudu kudu.properties mysql mysql....
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
设置权限
Alluxio支持修改认证方式，修改后需要重启服务生效，详细信息请参见 Alluxio文档。开启授权 授权是验证用户是否有权限对文件和目录进行操作。Alluxio为POSIX权限模型，Alluxio服务会根据认证中提供的用户信息判断允许或拒绝用户的访问请求...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
添加配置
本文为您介绍如何为全局配置文件 hue.ini 添加配置信息。前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。...单击右上角的 操作>重启Hue。在 执行集群操作 对话框中，输入 执行原因，单击 确定。在 确认 对话框，单击 确定。
配置连接器
保存完配置后，在右上角选择 更多操作>重启。说明 服务重启完成后，即可正常使用连接器。增加自定义连接器 说明 仅EMR-3.27.0及后续版本、EMR-4.3.0及后续版本、EMR-5.2.0及后续版本支持添加自定义连接器。您可以使用EMR Trino默认提供的5...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
管理LDAP认证
在Hue服务页面，选择右上角的 操作>重启Hue。在 执行集群操作 对话中，输入 执行原因，单击 确定。在 确认 对话中，单击 确定。访问Hue的Web UI 进入详情页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
配置连接器
本文为您介绍EMR on ACK的Presto提供的内置连接器，以及如何修改连接器。暂不支持增加自定义连接器。前提条件 已在EMR on ACK控制台上创建...保存完配置后，在 服务详情 页签下，重启Presto服务。说明 服务重启完成后，即可正常使用连接器。
查看实例列表与详情
重启：重启操作是维护实例常用的方式。例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启将会导致业务出现闪断，请您确认客户端已经做好业务重试机制，以免影响业务正常使用！释放：当您不再需要某个实例...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
访问Web UI
访问开源组件的Web UI。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题 问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
YARN概述
例如，支持通过控制台的方式进行节点扩容，NodeMananger下线和滚动重启等操作。支持监控报警。可以对各项指标进行监控和智能报警。弹性伸缩支持优雅下线功能。可以在一段时间内等待用户任务执行结束后再下线，而不是直接下线NodeManager...
Hive服务内存参数调整
修改完成后单击 保存，然后在组件状态页面重启HiveMetaStore，观察HiveMetaStore状态。调整HiveServer2内存。调整 hive_server2_heapsize，例如2048（代表2 GiB内存），可根据实际需要及机器内存，调整HiveServer2内存大小。修改完成后单击...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件 已在E-MapReduce控制台创建集群，详情请参见 创建集群。...说明 如果扩容没有生效，请重启对应的ECS实例。
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
查询OSS数据
本文为您介绍如何使用StarRocks的数据湖分析能力查询阿里云OSS。前提条件 已创建StarRocks集群，详情请参见 ...在StarRocks服务页面，选择右侧的 更多操作>重启。在弹出的对话框中，输入 执行原因，单击 确定。在弹出的对话框中，单击 确定。
版本特性
优化引擎升级/重启时的校验逻辑，支持引擎无损变更，提升引擎升级/重启时的稳定性。优化获取来源IP的逻辑，提升获取来源IP的准确性。优化集群限流能力，支持更多限流功能，提升引擎稳定性。优化请求参数的校验逻辑，明确参数错误的内容。...
ZKFC Mismatched address异常
本文介绍当高可用集群中的ZKFC（ZooKeeper Failover Controller）日志出现 Mismatched address stored in ZK 异常时，导致HDFS无法选出Active ...您可以在目标集群HDFS服务的 状态 页面，在右上角选择 更多操作>重启，来重启HDFS服务。
管理LDAP认证
在 组件列表 区域，单击 PrestoMaster 操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。连接Presto服务。开启LDAP认证后，当您访问Presto时需要提供LDAP认证凭据。通过SSH方式连接集群，请参见 ...
管理配置项
重启生效方式配置 可以单击 重启 或 批量重启。在弹出的对话框中，输入 执行原因，单击 确定。添加配置项 进入服务的配置页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群操作列的 ...
- 产品推荐
- 这些文档可能帮助您