HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
在文件存储 HDFS 版上使用Apache HBase
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
弹性裸金属服务器概述
本地SSD型弹性裸金属服务器实例规格族ebmi2g GPU计算型：GPU计算型弹性裸金属服务器实例规格族ebmgn7ex GPU计算型弹性裸金属服务器实例规格族ebmgn7e GPU计算型弹性裸金属服务器实例规格族ebmgn7ix GPU计算型弹性裸金属服务器实例规格族...
API概览
AddLocalNodes 增加本地计算节点到云集群 增加本地计算节点到混合云集群或者云上集群。GetHybridClusterConfig 获取混合云集群配置 调用GetHybridClusterConfig获取指定混合云集群或指定计算节点的配置信息。SyncUsers 同步本地集群用户到...
创建Hive数据源
配置文件 上传集群的 core-site.xml 和 hivemetastore-site.xml 配置文件，配置文件可在Hadoop集群导出。AccessKey ID、AccessKey Secret 填写访问集群OSS的AccessKey ID和AccessKey Secret。查看AccessKey，请参见 查看AccessKey。重要 ...
IDC服务器通过Proxy集群接入云安全中心
步骤一：搭建Proxy反向代理集群 云安全中心客户端分别通过 jsrv.aegis.aliyun.com 域名和 update.aegis.aliyun.com 域名连接Proxy集群中的长连接服务器和HTTP服务器。长连接代理和HTTP代理需要分别部署在不同代理服务器，因此，至少需要两...
产品优势
弹性 无 云原生、弹性强、一分钟可弹300节点参与计算 性价比 开源方案 内置大量优化+弹性，比开源自建集群至少降低50%的成本 DB&消息（如Kafka）归档到Hudi（存储在OSS）无或者自己写Code 链路大量优化、Hudi大量优化，产品化支持（实现中...
设置Dataphin实例的计算引擎为Hadoop
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。...
搭建Spark应用
本文介绍如何使用阿里云 ACK Serverless集群 和弹性容器实例（ECI），快速搭建Spark应用。背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本...
Hadoop Streaming
前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下命令，打开文件 mapper.py。vim/home/hadoop/mapper.py 按...
管理节点组（Hadoop、Data science和EMR Studio集群）
本文为您介绍如何新增、修改和删除节点组。背景信息 您可以新增节点组，以满足不同实例节点的需求。例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大...如果需要查看弹性伸缩记录，详情请参见 查看弹性伸缩记录（仅Hadoop集群类型）。
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
使用Presto访问
在Hadoop集群中安装Apache Hive，详情请参见 使用Hive访问。下载Presto压缩包和presto-cli-xxx-executable.jar。Presto下载地址：官方链接，在本文档使用Presto的版本为0.241。配置Presto 您可以参见以下步骤配置Presto，Presto官方配置...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
计算源概述
功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源：离线计算源 MaxCompute计算源：绑定MaxCompute计算源的项目，支持规范建模、即席查询...
Hive连接方式
serviceDiscoveryMode=multiServers' Hadoop集群 设置serviceDiscoveryMode为zooKeeper的方式 beeline-u 'jdbc:hive2:/emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
创建Gateway集群
前提条件 已经在E-MapReduce中创建了Hadoop集群或Kafka集群，详情请参见 创建集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Kafka集群类型。使用限制 本文档仅适用于Hadoop集群和Kafka集群。...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
注册集群概述
混合云计算弹性：ACK注册集群可以帮助您为自建Kubernetes集群弹性扩容云上计算虚拟机、物理机和无服务器化资源，通过协同调度器可以支持灵活的扩容缩容调度策略，实现IDC资源和云上计算资源的逐级扩容和按需缩容，多副本容器组按比例分布在...
专有云通用架构
采用Apsara Stack Insight专有云时，建议使用下图示意的架构，部署使用大数据领域金融云产品，包括：离线计算、实时分析、流计算、PAI、营销引擎。ZStack for Alibaba Cloud ZStack for Alibaba Cloud类同OpenStack，适用于中小型客户。...
Spark本地调试环境搭建
本文为您介绍如何在本地搭建Spark的调试环境（以IDEA为例）。背景信息 本文示例使用的工具如下所示：Maven 3.8.6 Java 8 IntelliJ IDEA 环境准备 在IDEA中通过 File>New>Project，新建一个Maven项目。在 pom.xml 中添加Spark的相关依赖，...
修改集群名称
Name String 是 bi_hadoop 集群新的名称，要求和创建集群时一致。长度限制为1-64个字符，只允许包含中文、字母、数字、短划线（-）和下划线（_）。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 接口查看最新的阿里...
在文件存储 HDFS 版上使用Presto
已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli...
公共节点
前提条件 您已创建用于进行节点运行、部署、上线的云计算资源，具体操作，请参见 新建云计算资源。背景信息 计算节点是用于定义不同数据类型处理逻辑的节点，而公共节点是可组成数据加工场景且能被多次复用的计算节点。公共场景支持计算...
Spark计算引擎
0运维 用户只需通过 AnalyticDB MySQL Serverless Spark接口管理Spark作业，无需关心服务器配置以及Hadoop集群配置，无需处理扩缩容等运维操作。作业级弹性 Serverless Spark按照Driver和Executor粒度申请创建资源，支持秒级拉起，可以快速...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
产品架构
集群 云数据库SelectDB版 集群，支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版 集群包括计算资源（vCPU、内存）和缓存资源（Cache），以集群粒度进行算力隔离，满足各个业务的不同性能规模和使用时长需求。云数据库...
最佳实践概览
通过DataWorks将MaxCompute数据同步至Elasticsearch 通过阿里云Logstash将MaxCompute数据同步至Elasticsearch 通过实时计算处理数据并同步到Elasticsearch 通过DataWorks将Hadoop数据同步至Elasticsearch 存储产品迁移 从Solr集群迁移文档...
网络开通流程
例如，当您连接在阿里云E-MapReduce上创建的Hadoop集群时，您需要配置的安全组规则如下图所示。更多配置操作，请参见 添加安全组规则。配置HBase集群安全组。将为MaxCompute创建的安全组或ENI IP加入HBase集群的安全组或IP白名单中。例如，...
创建Hadoop计算源
如果Hadoop集群有Kerberos认证，则需要开启集群Kerberos并上传Krb5认证文件或配置KDC Server地址：重要 当计算引擎类型为E-MapReduce 5.x时，仅支持 krb5文件配置 配置方式。Krb5认证文件：需要上传Krb5文件进行Kerberos认证。KDC Server...
自助建站方式汇总
搭建Hadoop环境 Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。环境类型 部署方式 说明 搭建Hadoop环境 手动搭建...
使用前必读
网络相关 注册集群接入您自建或其他云厂商的Kubernetes集群时，请确保目标集群与阿里云之间的网络稳定性，自建的Kubernetes集群通过公网访问阿里云资源时，可能会出现超时等不稳定性问题。注册集群不支持创建和使用LoadBalancer类型的服务...
注册EMR集群至DataWorks
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、周期性调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍如何在DataWorks注册同账号或跨账号的EMR集群...
混合云主控模式最佳实践
混合云主控模式集群的管理节点为云上新增集群的管理节点，计算节点由线下已有计算节点和云上新增计算节点组成。本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的...
简介
云渲染管理系统（Render Manager 简称渲管）是一个开源的 Web 应用，可以帮助用户轻松搭建阿里云上的私有渲染系统，直接调用海量计算资源，一键管控集群规模，在加速渲染任务的同时省去自建集群的烦恼。渲管建立在阿里云 BatchCompute、OSS...
注册集群快速入门
ACK One注册集群帮助您将云下Kubernetes集群接入云端，快速搭建混合云集群，可以将本地数据中心Kubernetes集群或其他云厂商Kubernetes集群接入阿里云容器服务管理平台，进行统一管理。本文介绍注册集群的快速使用流程和文档使用指引。快速...
管理Hive Catalog
您可以使用云解析PrivateZone产品连通Hadoop集群和Flink的VPC，详情请参见 解析器（Resolver）。网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
扩容磁盘
Hadoop集群类型中通过弹性伸缩模块创建的弹性伸缩组（创建详情请参见 配置弹性伸缩（仅Hadoop集群类型）），无法进行该操作。注意事项 云盘扩容后无法缩容，建议您合理规划存储空间。操作步骤 进入节点管理页面。登录EMR on ECS控制台。在...
搭建Hadoop环境
本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提条件 搭建Hadoop环境时，已有的ECS实例必须满足以下条件：公网IP：实例已分配公网IP地址或绑定弹性公网IP（EIP）。操作系统：Linux操作系统。实例安全组的入方向规则...
- 产品推荐
- 这些文档可能帮助您