Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
管理用户
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
通过SSH隧道方式访问开源组件Web UI
本文为您介绍如何通过SSH隧道方式访问开源组件Web UI。前提条件 已创建集群，详情请参见 创建集群。确保本地服务器与集群主节点网络连通。您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主...
相关的云服务
访问控制RAM 通过访问控制RAM，可以为不同人员、云服务等指定身份并基于身份授予资源访问权限，从而控制对开源大数据平台E-MapReduce的访问。对象存储OSS-HDFS 对象存储OSS-HDFS服务用于存储用户数据。云监控 通过云监控（CloudMonitor）...
如何解决MSE Nacos开源控制台无法使用问题
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
什么是EMR Serverless Spark
高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。开放架构与生态集成 EMR Serverless Spark与阿里云OSS-HDFS/OSS，数据湖构建DLF，以及DataWorks无缝对接，为客户提供了最大程度...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce（EMR...
可观测可视化 Grafana 版与开源Grafana对比
本文介绍了 可观测可视化 Grafana 版 与开源Grafana的对比。对比项 可观测可视化 Grafana 版 自建Grafana 环境配置 开箱即用，无需构建环境、安装和部署Grafana。您需要自行完成以下操作：购买服务器、配置网络环境及策略。下载Grafana镜像...
如何解决MSE Nacos开源控制台鉴权不生效问题
本文介绍如何解决MSE Nacos开源控制台鉴权不生效问题。问题现象 在Nacos的开源控制台中创建了新用户，并为该用户设置了某个命名空间权限，但没有生效（仍然可以访问其他命名空间）。已修改用户密码，且已删除用户，但是程序仍然可以使用旧...
手动执行脚本
OSS地址有内网地址、外网地址和VPC网络地址之分。如果是经典网络，则需要指定内网地址（例如，杭州是 oss-cn-hangzhou-internal.aliyuncs.com ）。如果是VPC网络，则需要指定VPC内网可以访问的域名（例如，杭州是 vpc100-oss-...
可观测可视化 Grafana 版与开源Grafana对比
本文介绍了 可观测可视化 Grafana 版 与开源Grafana的对比。对比项 可观测可视化 Grafana 版 自建Grafana 环境配置 开箱即用，无需构建环境、安装和部署Grafana。您需要自行完成以下操作：购买服务器、配置网络环境及策略。下载Grafana镜像...
管理网络配置
在EMR Notebook的使用过程中，需要确保外部集群、数据源与工作空间机器的网络连通性。本文为您介绍如何添加、修改工作空间的网络配置。前提条件 已创建工作空间，详情请参见 管理工作空间。使用限制 在网络配置阶段，仅支持使用以下指定...
通过公网访问Kafka
本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务，包括修改相关配置以监听公网接口以及设置对应的安全组规则，从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。新建集群时，开通公网服务 新建Dataflow集群时，打开...
管理数据库
为了确保数据源能够顺利连接至工作空间，其专有网络、安全组必须与当前展示的工作空间预设网络配置完全一致。安全组 地址 EMR集群的Master节点的内网域名或内网IP地址。端口 Spark Thrift Server服务的访问端口。数据库 待访问的Spark数据...
Attu工具管理
前提条件 已完成网络安全设置，详情请参见 网络访问与安全设置。访问Attu页面 在浏览器中输入访问地址。支持以下两种访问方式：内网访问地址：{{clusterId}}-internal.milvus.aliyuncs.com:3000 公网访问地址：{{clusterId}}.milvus....
使用JindoFS加速OSS文件访问
本文介绍如何在E-MapReduce（简称EMR）on ACK的Spark集群中，通过Fluid和JindoRuntime加速访问OSS文件。背景信息 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
登录集群
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。此外，您还可以使用SSH连接创建隧道...相关文档 您可以在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
创建EMR Studio集群
网络类型 默认专有网络。VPC 选择在该地域的VPC。如果没有可用的VPC，单击 创建VPC/子网（交换机）前往新建。重要 因为EMR Studio集群仅支持关联同一个VPC内的EMR计算集群，所以创建EMR Studio集群时需要选择与EMR计算集群相同的VPC。交换...
访问模式
访问E-MapReduce（简称EMR）上的ClickHouse集群支持通过原生JDBC访问和通过负载均衡SLB访问两种方式。本文为您介绍如何通过这两种方式访问ClickHouse集群。背景信息 通过原生JDBC访问ClickHouse集群的架构图如下。通过负载均衡器SLB访问...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
Kerberos概述
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
概述
SmartData是E-MapReduce（简称EMR）产品的核心自研组件，为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展，涵盖数据访问、数据治理和数据安全。SmartData组件在EMR产品中的位置如下所示。SmartData组件...
Spark访问EMR HBase数据
Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List[]>...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Spark对接HBase
Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List[]>...
常见问题
通过SSH隧道的方式查看，详情信息请参见 通过SSH隧道方式访问开源组件Web UI。直接访问YARN REST接口。curl-compressed-v-H"Accept:application/json"-X GET...
产品优势
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
JindoFS实战演示
通过JindoFS，您可以完成数据迁移、OSS访问加速、缓存加速、AI训练加速和JindoTable计算加速。本文为您介绍JindoFS实战的详细文档和演示视频。注意 如果视频断链表明该视频已过时，且已被下线。由于产品在不断更新迭代，请以官方控制台操作...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
NodeAttributes
名称 类型 描述 示例值 object VpcId string 专有网络 ID。vpc-bp1tgey2p0ytxmdo5*ZoneId string 可用区 ID。cn-beijing-h SecurityGroupId string 安全组 ID。EMR 只支持普通安全组，不支持企业安全组。sg-hp3abbae8lb6lmb1*RamRole ...
Block模式使用说明
Block模式提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。本文主要介绍JindoFS的Block模式及其使用方式。背景信息 ...
Block模式使用说明
Block模式提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。本文主要介绍JindoFS的Block模式及其使用方式。背景信息 ...
- 产品推荐
- 这些文档可能帮助您