什么是EMR Serverless Spark
高性能 基于Fusion Engine(Spark Native Engine)，性能体验最高可达开源Spark的2倍。高扩展性 基于阿里云Serverless底座，提供资源弹性能力，满足ETL作业突发高峰的同时，进一步降低实际计算资源成本。高扩展性 提供资源和任务实例级别的可...
Spark SIMD JSON使用说明
在 组件列表 区域，单击 SparkThriftServer 操作列的 重启。在弹出的对话中，输入 执行原因，单击 确定。在 确认 对话中，单击 确定。针对Spark任务 在启动Spark任务时，加上以下参数。spark.sql.simd.json.enabled=true 支持函数 支持以下...
常见问题
如何手动重启失败的DAG？如何在DAG中使用集群模板？如何确定更新的DAG已生效？如何管理Airflow的配置项？如何为新增用户添加权限？如何修改时区配置？如何排查调度失败的任务？您可以按照以下步骤排查：在Airflow的 DAGs 页面，单击失败的...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击 确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击 确定。通过SSH登录emr-header-1节点...
JindoFS权限功能
配置项请遵循开源HDFS内容。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。重启配置。单击右上角的 操作>重启 All Components。输入执行原因，单击确定。通过SSH登录emr-header-1节点...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
手动进行NameNode checkpoint
您可以通过手动进行checkpoint来保存NameNode的Namespace状态，并避免NameNode重启时间过长的问题。本文介绍如何手动进行NameNode checkpoint。操作步骤 通过SSH方式连接集群，请参见 登录集群。执行以下命令，切换到hdfs用户。su hdfs ...
EMR StarRocks FE日志文件修复公告
本文为您介绍E-MapReduce（简称EMR）StarRocks FE日志文件无法自动清理的影响以及修复流程。...在 组件列表 区域，选择 Frontend 操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在弹出的对话框中，单击 确定。
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
SDK下载
阿里云E-MapReduce SDK...下载地址 aliyun-java-sdk-core：访问 阿里云开发工具包（SDK）获取阿里云的SDK核心库。aliyun-java-sdk-emr：访问 aliyun-java-sdk-emr 获取E-MapReduce的部分依赖。说明 SDK包更新频繁，建议您获取最新版本的SDK。
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
SmartData 3.8.x版本简介
SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData（3.8.x）版本更新的内容。JindoSDK 特性 描述 支持AssumeRoleStsCredentialsProvider 适用于获取一个扮演RAM角色的临时AccessKey访问OSS的情况，详细信息请...
YARN高可用特性使用指南
NM有状态重启 NM有状态重启能够在NM短时间内重启恢复后，保证节点上运行的任务（Container）继续运行，无需停止并重新调度，从而满足应用无感知的基本要求。NM有状态重启的重要配置项如下表。配置集 配置项（推荐）配置值 说明 yarn-site....
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
开启ORC查询加速
JindoTable提供Native ORC Reader，支持查询加速。系统默认不开启加速，开启之后可以提升Spark或Presto读取ORC...在右上角选择 操作>重启ThriftServer。在 执行集群操作 对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
访问JindoFS Web UI
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
开启ORC查询加速
JindoTable提供Native ORC Reader，支持查询加速。系统默认不开启加速，开启之后可以提升Spark或Presto读取ORC...在右上角选择 操作>重启ThriftServer。在 执行集群操作 对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。
操作伸缩组实例
例如，启动、停止、重启和刷新伸缩组实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
管理LDAP认证
在Impala服务页面，选择右上角的 更多操作>重启。在弹出的对话中，输入 执行原因，单击 确定。在 确认 对话中，单击 确定。连接Impala。开启LDAP认证后，当您连接Impala时需要提供LDAP认证凭证。通过SSH方式连接集群，详情请参见 登录集群...
DLF统一元数据
本文为您简单介绍阿里云数据湖构建，以及如何切换E-...在Hive服务页面，选择右上角的 更多操作>重启。在弹出的对话框中，填写 执行原因，单击 确定。在 确认 对话框中，单击 确定。您可以单击上方的 操作历史，查看任务进度，等待任务完成。
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
SmartData 3.5.x版本简介
SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 优化OSS删除目录的性能。JindoSDK Java使用JindoSDK时，JindoSDK日志输出到Java日志中，以提高可诊断性。新增...
NodeGroup
手动重启 GracefulShutdown boolean 节点组上部署的组件是否开启优雅下线。取值范围：true：开启优雅下线。false：不开启优雅下线。false SpotInstanceRemedy boolean 开启补齐抢占式实例后，当收到抢占式实例将被回收的系统消息时，伸缩组...
Hue对接LDAP
本文以Hue对接E-MapReduce自带的...重启Hue成功后，您就可以在Hue中访问开启LDAP认证的引擎了。后续步骤 注意 对接LDAP之后，原有的管理员账号admin已经不能登录，新的管理员用户为对接LDAP之后第一个登录的用户。访问Hue，请参见 使用说明。
- 产品推荐
- 这些文档可能帮助您