镜像介绍

Anolis 8.2 Anolis OS 8是OpenAnolis社区发行的开源Linux发行版,与CentOS 8 100%兼容,支持多计算架构,提供稳定、高性能、安全可靠的操作系统。CentOS Stream 9 CentOS Stream是CentOS 8之后一个滚动发布的Linux发行版。Rocky Linux 8.6 ...

EMR Kafka配置说明

本文为您介绍E-MapReduce(简称EMR)中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka,用户组为group,您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...

配置自定义软件

如果您需要调整这些服务的配置项,则可以在集群创建时使用软件自定义配置功能,以修改现有配置或添加新的配置项。使用限制 软件配置操作仅在集群创建时执行一次。操作步骤 登录 E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域 ...

开源软件迁移

当前大部分应用系统都基于开源软件构建,并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...

回滚配置

E-MapReduce支持在控制台对各服务参数新增、修改、删除配置项等操作进行配置回滚。本文为您介绍如何通过E-MapReduce控制台回滚各服务的参数配置。前提条件 已对服务配置进行实际的操作变更。操作步骤 进入集群服务页面。登录 E-MapReduce...

什么是EMR Serverless Milvus

阿里云向量检索Milvus版是一款Serverless全托管服务,确保了与开源Milvus的完全兼容性,并支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...

OpenLDAP

OpenLDAP是LDAP协议(Lightweight Directory Access Protocol)的开源实现,在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中,Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...

产品优势

自定义集群环境:您可以通过引导操作和集群脚本灵活配置集群环境,将第三方优化和集群管理工具部署到EMR环境,详情请参见 管理引导操作 和 集群脚本。自主运维:您可以登录Master节点,查看集群日志和部署环境,优化和部署配置,详情请参见...

Zeppelin常见问题

EMR Studio上的Zeppelin与开源版本一致吗?如何设置Zeppelin Note的权限?Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗?EMR Studio上的Zeppelin是增强版的Zeppelin,与开源版本不一致。E-MapReduce的...

常见问题

问题原因:这是因为使用Hudi Spark的模式演变功能时,需要将Hudi的配置项 hoodie.schema.on.read.enable 设置为true。解决方法:请在对Hudi表进行 alter table 操作时添加配置 set hoodie.schema.on.read.enable=true。更多详细信息请参考...

重启服务

操作步骤 配置项修改后,需要重启对应的服务使配置生效。您还可以在 集群服务 页签,配置、启动或停止服务。进入集群服务页面。登录EMR on ECS控制台。在顶部菜单栏处,根据实际情况选择地域 和资源组。在 集群管理 页面,单击目标集群操作...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

Kafka常见问题

解决方法:通过修改/etc/security/limits.conf 系统配置文件的方式,修改 ulimit open files 的限制,将该配置文件末尾的“*soft nofile”和“*hard nofile”的值改成需要的大小并重启问题节点服务。如何评估一个Kafka topic所需的分区数?...

为Spark集群设置元数据

EMR on ACK支持使用数据湖元数据DLF(Data Lake Formation)和自建Hive Metastore元数据两种方式,为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点,...

产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

配置集群管理密码

说明 这些命令和软件包的具体使用方式可能因系统版本和配置而有所不同,建议您根据实际情况使用。单击 保存。在弹出的对话框中,输入 执行原因,单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域,单击 ...

产品架构

从上图可以看出EMR由四部分组成:社区开源产品 集成Apache社区开源大数据组件,例如Hadoop、Hive和HBase,随着EMR版本更新,开源软件也会相应的升级,详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...

配置钉钉机器人接收Kubeflow报警

设置钉钉机器人报警后,您可以通过指定钉钉群接收报警通知。本文为您介绍如何配置钉钉机器人接收Kubeflow报警。前提条件 已创建DataScience集群,且选择了Kubeflow服务,详情请参见 创建集群。下载dsdemo代码:请已创建DataScience集群的...

什么是EMR on ECS

EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和...

管理中心功能概览

在DataWorks的 管理中心,用户可以按照 工作空间维度 进行操作,包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序,以及管理工作空间成员的权限和角色;此外,用户还可以在 全局维度 进行...

UpdateApplicationConfigs-更新应用配置

HDFS ConfigAction string 否 配置操作。取值范围:ADD:添加。UPDATE:更新。DELETE:删除。ADD ConfigScope string 否 配置操作范围。取值范围:CLUSTER:集群级别。NODE_GROUP:节点组级别。CLUSTER ApplicationConfigs array 是 应用...

设置权限

在SIMPLE认证方式下,客户端访问Alluxio服务时,会从操作系统获取当前的登录用户,一起发送请求到服务端,供服务端进行身份标识。如果客户端设置了 alluxio.security.login.username 参数,客户端将使用对应的配置作为请求服务端的用户。...

Attu操作指南

Attu是一款功能强大的开源数据库管理系统工具,专为Milvus向量数据库设计,提供直观易用的图形化界面,以简化数据库管理、集合(Collection)管理以及复杂的向量检索任务。前提条件 已完成网络安全设置,详情请参见 网络访问与安全设置。...

查看集群资源概览

EMR弹性伸缩功能提供集群资源变化分析和弹性伸缩规则推荐。...如果您的集群资源存在明显的峰谷变化且未配置弹性伸缩规则,则系统将自动推荐配置弹性伸缩规则。您可以参考推荐规则为集群节点组配置弹性伸缩,具体操作请参见 添加弹性伸缩规则。

管理配置信息

EMR Serverless支持通过控制台查询或修改StarRocks BE、FE等组件的参数,以及查看配置操作历史记录。前提条件 已创建EMR Serverless实例,详情请参见 创建实例。查询配置信息 进入EMR Serverless StarRocks实例列表页面。登录 E-...

HDFS配额(Quotas)介绍

如果重命名操作设置配置冲突,则重命名操作失败。即使目录违反了新的配额,对目录设置新的配额仍然可以成功。新建的目录初始状态是没有设置配额的。最大配额值为Long.Max_Value。当配额为0时仍然允许创建文件,但是不能向该文件中写...

实现Hue多实例负载均衡

说明 如果该Gateway只用来Hue负载均衡,则 系统盘大小 可以设置为120 GB、数据盘大小 设置为200 GB,数量 设置为2。单击 创建。步骤二:添加Hue服务至Gateway集群 在 集群管理 页面,单击已创建的Gateway集群所在行的 详情。可选:在 集群...

续费说明

自动续费开通后,系统将在资源到期前自动执行续费操作,无需您手动操作,您也不必再担心因未及时续费而导致资源和数据被删除。本文为您介绍如何手动和自动续费E-MapReduce(简称EMR)集群,以及取消自动续费。背景信息 续费功能仅适用于...

授权信息

操作(Action)下表是 开源大数据平台 E-MapReduce(EMR)定义的操作,这些操作可以在RAM权限策略语句的 Action 元素中使用,用来授予执行该操作的权限。下面对表中的具体项提供说明:操作:是指具体的权限点。API:是指操作对应的API接口...

管理工作流实例

(暂停)对正在运行的工作流实例进行 暂停 操作系统状态变为 准备暂停,会等待正在执行的任务结束,暂停下一个要执行的任务。(删除)删除工作流实例及工作流实例下的任务实例。(甘特图)甘特图纵轴是当前工作流实例下的任务实例的拓扑...

创建Gateway集群

引导操作 可选配置,您可以在集群启动前执行您自定义的脚本,详情请参见 管理引导操作 和 手动执行脚本。标签 可选配置,您可以在创建集群时绑定标签,也可以在集群创建完成后,详情请参见 设置标签。数据盘加密 可选配置。仅支持在创建...

导出和导入服务配置

阿里云E-MapReduce(简称EMR)提供的导出服务配置功能,支持以XML或JSON格式导出服务配置,便于备份、迁移和恢复EMR服务的配置。导出的JSON格式的服务配置可以导入新集群,作为新集群的预设配置。本文为您介绍如何导出和导入服务配置。导出...

访问权限控制

阿里云E-MapReduce(简称EMR)的ClickHouse集群中,主要提供了四种服务配置项以配置ClickHouse集群,包括客户端配置、服务端配置、用户权限配置和拓展配置。本文为您介绍ClickHouse服务的用户权限配置。背景信息 用户访问权限配置在 server...

配置连接器

本文为您介绍E-MapReduce(简称EMR)的Presto提供的内置连接器,以及如何修改和添加连接器等操作。EMR Presto内置连接器 EMR Presto默认提供以下几种开箱即用的内置连接器。连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的...

创建Doris集群

本文为您介绍创建Doris集群的详细操作步骤和相关配置操作步骤 进入创建集群页面。登录 EMR on ECS。可选:在顶部菜单栏处,根据实际情况选择地域和资源组。地域:创建的集群将会在对应的地域内,一旦创建不能修改。资源组:默认显示账号...

同步EMR Kafka数据至OSS

设置JVM最大可用内存(Xmx)。Flume向OSS写入数据时,因为需要占用较大的JVM内存,所以可以增大Flume Agent的Xmx。单击 flume-env.sh 页签。本文示例采用的是全局配置方式,如果您想按照节点配置,可以在 FLUME 服务 配置 页面的下拉列表中...

Superset(仅对存量用户开放)

重要 请使用root用户进行以下操作。执行以下命令,进入Superset命令行。source/usr/lib/superset-current/bin/activate 执行以下命令,创建管理员用户。superset fab create-admin 根据如下提示信息输入用户名、密码和确认密码等。Username...

开启权限认证

背景信息 Hadoop提供了以下两种用于决定用户身份的操作模式:简单模式(Simple):用户的身份由与HDFS建立链接的客户端操作系统决定。在类Unix系统中,等同于 whoami 命令。Kerberos集群模式:客户端的身份由用户自己的Kerberos证书决定。...

Hue对接LDAP

设置相关信息。单击 确定。重启Hue。在右上角选择 操作>重启Hue。在 执行集群操作 对话框,填写执行原因,单击 确定。在 确认 对话框,单击 确定。重启Hue成功后,您就可以在Hue中访问开启LDAP认证的引擎了。后续步骤 注意 对接LDAP之后,...

相关的云服务

本文为您介绍典型场景下,使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS(Elastic Compute Service)作为集群的节点,每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云服务器 ECS 检索分析服务 Elasticsearch版 微服务引擎 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用