开源网站ui-开源网站ui文档介绍内容-阿里云

什么是EMR on ECS

100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

什么是EMR Serverless Milvus

阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...

GKS（仅对存量用户开放）

本文为您介绍如何访问Kubernetes Dashboard UI和Grafana UI页面。前提条件已创建DataScience集群，并且选择了Kubeflow，详情请参见创建集群。已打开32699和31808端口，详情请参见管理安全组。重要设置安全组规则时要针对有限的IP范围。...

查看Flink作业日志和访问Flink Web UI

本文为您介绍，如何查看运行中的Flink作业的日志和访问对应作业的Web UI。前提条件已在E-MapReduce on ACK控制台创建Flink集群，详情请参见快速入门。查看Flink作业日志登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群所在行 ...

手动恢复Standby NameNode

在某些情况下，您需要手动恢复Standby NameNode，例如某台NameNode数据目录被误删、NameNode editslog产生了大量堆积，Active NameNode状态健康并且已经手动完成checkpoint...通过Web UI查看NameNode状态的详细信息，请参见 HDFS Web UI介绍。

管理DAG

本文为您介绍如何在Airflow Web UI页面或OSS控制台管理DAG。背景信息本文通过以下两种方式，为您介绍如何管理DAG，您可以根据您的实际情况，选择相应的方式。如果是生产环境，建议您使用方式一：在OSS控制台编辑DAG。如果是开发环境或...

查看作业列表

本文为您介绍如何查看您集群下的作业信息。前提条件已在E-MapReduce控制台创建on ACK的集群，详情请参见快速入门。操作步骤进入作业详情页面。登录 EMR on ACK控制台。...运行中时是Spark的UI链接，运行结束是Historyserver的UI链接。

Zeppelin常见问题

EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...

授权信息

本文为您介绍开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...

支持倚天云服务器

阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户全网用户新增功能/规格阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...

在Hue WebUI使用编辑器

当您需要使用图形化界面在集群中执行HiveQL或Spark SQL语句时，可以通过Hue完成任务。本文以EMR-4.9.0版本为例，为您介绍如何在Hue WebUI中使用Hive编辑器和Spark SQL编辑器。前提条件已设置安全组访问。重要设置安全组规则时要针对有限...

使用Cruise Control

修改 cruise.control.ui.access.host 的参数值为master-1-1节点的公网IP地址。master-1-1节点的公网IP地址，您可以在EMR控制台节点管理页面查看。单击保存。在弹出的对话框中，输入执行原因，单击保存。重启Kafka Broker服务。在集群...

在Hue WebUI使用HBase服务

当您需要使用图形化界面在集群中创建或查询HBase表格时，可以通过Hue实现。本文以EMR-4.9.0版本为例，为您介绍如何通过Hue WebUI创建或删除HBase表格。前提条件已创建集群，并选择了HBase服务。已打开8888端口。重要设置安全组规则时要...

管理JupyterHub

本文为您介绍如何访问JupyterHub的Web UI及JupyterHub的配置项信息。前提条件已创建EMR Studio集群，详情请参见创建集群。已创建EMR Studio关联的集群，详情请参见创建集群。安全组规则已开启8000和8443端口，详情请参见添加安全组规则...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...

使用OpenAPI

本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见使用OpenAPI。基本信息版本说明版本号说明 2021-03-20 推荐使用。接入点说明根据实例所在的地域，选择对应的服务接入点地址，...

EMR-3.25.x版本说明

YARN 适配tez-ui，yarn-site 页签支持添加配置项 yarn.resourcemanager.system-metrics-publisher.enabled=true。Bigboot 升级至2.2.3版本。OSS Cache模式下支持rename操作。SmartData Knox 升级依赖包版本。Oozie 升级依赖包版本。...

Hive概述

Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。

配置集群管理密码

在访问Presto UI和提交Presto作业之前，您必须为集群设置管理密码。本文为您介绍如何为集群配置管理密码。操作步骤进入password.db页签。登录 EMR on ACK。在EMR on ACK页面，单击目标集群所在行的配置。在配置页签，选择>password.db...

Shell

与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例运行hadoop命令执行如下命令会显示当前EMR集群根目录下的所有文件，切换...

Knox

本文介绍如何在E-MapReduce上配置Knox，以通过公网方式访问HDFS、YARN、Spark和Ganglia等Web UI页面。前提条件已创建E-MapReduce集群，详情请参见创建集群。准备工作设置安全组访问：获取您当前设备的公网访问IP地址。为了安全的访问...

Ranger概述

Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件进行细粒度的权限访问控制，并且提供了Web UI方便管理员操作。Ranger组件介绍 Ranger主要由三个组件组成：Ranger Admin 您可以创建和更新安全访问策略...

查看账单

在明细账单页签中，设置查询账期，并在列表中筛选产品为开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量或 EMR StarRocks Serverless包年包月。您还可以通过统计项和统计周期选择账单的展示内容。账单详细...

JournalNode出现异常

本文介绍JournalNode出现异常的原因和解决方案。具体报错 JournalNode日志...观察HDFS Web UI的Journal Status情况，参见 HDFS Web UI介绍。如果此时NameNode无法启动，可参见 JournalNode EditsLog异常导致NameNode启动失败进行排查解决。

ClickHouse概述

开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...

JAR任务快速入门

（可选）步骤五：查看Spark UI 任务正常运行后，您可以在Spark UI上查看任务的运行情况。在左侧导航栏，单击任务列表。单击开发任务。在开发任务页面，单击目标任务操作列的详情。在任务总览页签，单击Spark UI。将自动打开Spark UI...

概述

Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...

什么是EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...

常见问题

本文汇总了Airflow使用时的常见问题。如何排查调度失败的任务？如何手动重启失败的DAG？如何在DAG中使用集群模板？如何确定更新的DAG已生效？...[core]default_timezone=Asia/Shanghai[webserver]default_ui_timezone=Asia/Shanghai

Flink DataStream参考

DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...

EMR-4.4.x版本说明

Bigboot Knox 支持Tez UI独立打开，支持YARN UI中的Tez。升级Shiro至1.6.0版本。EMRDOCTOR 修复时间配置文件为空时，导致不采集作业信息的问题。Ganglia 增加HDFS Service RPC Port的端口探测。Oozie 修复Web UI无法打开的问题。升级...

什么是EMR Notebook

兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能交互式编程环境支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型支持...

配置HBase开启Ranger权限控制

进入Ranger UI页面，详情请参见访问Ranger UI。在Ranger UI页面，单击配置好的 emr-hbase。在Ranger启用HBase时会自动添加一个名称为emr-hbase的HBase Service。您可以根据实际情况配置策略。HBase Service服务信息如下。相关参数描述如下...

配置HBase开启Ranger权限控制

进入Ranger UI页面，详情请参见访问Ranger UI。在Ranger UI页面，单击配置好的 emr-hbase。在Ranger启用HBase时会自动添加一个名称为emr-hbase的HBase Service。您可以根据实际情况配置策略。HBase Service服务信息如下。相关参数描述如下...

基础使用

flink list-t yarn-session-Dyarn.application.id=您也可以通过Web UI的方式查看作业状态，详情请参见通过Web UI查看作业状态。执行以下命令，停止作业。flink cancel-t yarn-session-Dyarn.application.id=<application_XXXX_YY><jobId>...

提交作业和查看作业信息

访问Web UI 在EMR控制台的访问链接与端口页面，单击 YARN UI 所在行的链接。在使用Knox账号访问YARN UI页面时，需要Knox账号的用户名和密码，详情请参见管理用户。在Hadoop控制台，单击目标作业的 Tracking UI 列的 ApplicationMaster。...

概述

Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...

EMR Doctor概述

E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...

开源网站ui

新品推荐