开源文化能干什么-开源文化能干什么文档介绍内容-阿里云

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见迁移StarRocks数据至EMR Serverless StarRocks。操作步骤重要集群扩容操作不会重启存量...

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...

管理用户

EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...

UI和端口

本文为您介绍FE和BE的端口，以及如何访问端口。...18030 说明 EMR-5.9.0及以上版本、EMR-3.43.0及以上版本。...rpc_port 9020 BE->FE FE<-->FE FE上的Thrift Server端口。query_port 9030 FE用户 FE上的...常见问题为什么8030、8040端口访问失败？

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见通过SSH隧道方式访问开源组件Web UI 和访问链接与端口。NameNode服务地址版本访问地址说明 hadoop 3.x http://${namenode_hostname}:9870${...

快速使用EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...

选型配置说明

Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，ClickHouse更轻量级。ClickHouse支持线性扩展，简单方便，具有高可靠性和高容错。...

EMR Workflow公测说明

介绍EMR Workflow公测说明。公测时间说明 EMR Workflow公测已于2023年6月29日开启，预计于2024年01月10日结束。公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Workflow EMR Workflow角色授权工作流快速入门

管理LDAP认证

EMR-5.11.0及之前版本，EMR-3.45.0及之前版本重要如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在组件列表区域，选择 SparkThriftServer 操作列的>enableLDAP。...

常见问题

为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是因为多副本部署能够确保即使在部分实例故障的情况下，整个服务依然能够保持稳定运行和服务请求。...

Spark Native引擎使用说明（Beta）

请注意，EMR on ECS形态已下线Spark Native引擎。目前，仅在EMR Serverless Spark形态提供Fusion Engine（Spark Native Engine）。更多信息，请参见什么是EMR Serverless Spark。

Kerberos概述

在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...

EMR Serverless Spark免费公测说明

介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年06月25日结束。公测阶段面向所有用户开放，您可以...什么是EMR Serverless Spark 创建工作空间 SQL任务快速入门

EMR Notebook公测说明

本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步按地域开启公测，公测面向所有用户开放。您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Notebook EMR Notebook角色授权快速使用EMR Notebook

EMR-3.24.x版本说明

支持其他开源已有特性。Grafana 新增组件（Flink独立集群），版本6.4.2。Prometheus 新增组件（Flink独立集群），版本2.13.0。AlertManager 新增组件（Flink独立集群），版本0.19.0。TensorFlow on spark 支持TensorFlow框架置于Spark之上...

E-MapReduce支持倚天云服务器

阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...

EMR元数据迁移公告

数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...

迁移方案

基于Flink on YARN的部署模式，在未设置 yarn.provided.lib.dirs 参数的情况下，Flink作业在YARN集群中运行时所使用的Flink Runtime为提交作业的客户端所使用的Flink（例如，开源Flink 1.13等）。因此如果您想使用特定的Flink版本运行作业...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

AI开源项目

阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往阿里云大数据&AI开源项目。

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

登录集群

此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件已在EMR on ECS创建集群，详情请参见创建集群。确保本地...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

为RAM用户授权

背景信息访问控制RAM是阿里云提供的资源访问控制服务，详情请参见什么是访问控制。在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据...

EMR-5.2.x版本说明

优化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，性能比开源Spark 3版本提升50%。支持阿里云Log Service、DataHub和消息队列RocketMQ版（简称ONS）等数据源。Tez 优化Tez默认参数，以提升作业性能...

开启Nacos开源控制台

Nacos引擎提供一个默认的控制台操作页面，即开源控制台。由于此控制台安全能力较弱，MSE Nacos从 2.2.3.1 版本开始，将默认关闭开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件已开通MSE。已创建Nacos引擎。具体操作，请...

JindoFS实战演示

Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...

SmartData 3.1.x版本简介

功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...

通过SSH隧道方式访问开源组件Web UI

在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...

EMR Serverless Milvus免费公测说明

介绍EMR Serverless Milvus的免费公测说明。公测说明 EMR Serverless Milvus已开启免费...什么是EMR Serverless Milvus 快速创建Milvus实例联系我们如果在使用EMR Serverless Milvus的过程中遇到任何疑问，可加入钉钉群 59530004993 咨询。

Attu工具管理

Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...

配置监控告警

更多信息，请参见什么是云监控。开启一键告警您可以开启云监控的一键告警功能，快速自动建立Serverless StarRocks指定监控项的报警体系，以便及时获取关键监控指标的异常信息。重要开启此功能后，会创建磁盘IO使用率、CPU空闲率和磁盘...

开源自建对比

基础场景对比项开源自建SC/Dubbo+IaaS集群开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本需要。需要。不需要。SAE 免运维。硬件成本按峰值固定保有包年IaaS，...

安装HBase Java SDK

使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...