产品优势
ACK的优势 优势 说明 强大的集群管理 三种集群形态：ACK专有集群、ACK托管集群、ACK Serverless集群。ACK托管集群 的管控节点默认为3个可用区的高可用部署。单集群支持千量级ECS节点。详细配额，请参见 配额限制。支持跨可用区集群以及注册...
改写Jindo HDFS客户端路径
SmartData 3.1.x版本支持改写Jindo HDFS客户端级别的路径，以减少集群迁移时修改路径的工作量。例如，通过将HDFS地址重写至OSS地址，方便您迁移HDFS中的数据至OSS后，无需改动业务逻辑中的数据地址，即可访问数据。使用限制 仅支持Hadoop 2...
添加边缘节点
64 Ubuntu 18.04 4.15.X≥1.12.6-aliyunedge.1 AMD64/x86_64 Ubuntu 18.04 5.4.X≥1.16.9-aliyunedge.1 AMD64/x86_64 Ubuntu 18.04 5.11.X≥1.18.8-aliyunedge.1 AMD64/x86_64 Ubuntu 20.04 5.4.X≥1.18.8-aliyunedge.1 AMD64/x86_64 ...
通过后处理脚本实现自动挂载ossfs
设置后处理脚本后，E-HPC集群上后续扩容的节点均会自动执行指定的后处理脚本，可以满足计算节点预部署的需求。通过后处理脚本，您可以对计算节点做定制化操作，例如扩容的计算节点自动挂载ossfs、自动部署软件环境等。本文以自动挂载ossfs...
操作系统镜像概述
3_x64_20G_uefi_alibase_20230727.vhd Aliyun x86_64 UEFI 20 GiB v1.18.8及以上 ContainerOS ContainerOS 3 lifsea_3_x64_10G_containerd_1_6_28_alibase_20240202.vhd Aliyun x86_64 BIOS 20 GiB v1.24.3及以上 Red Hat Red Hat ...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
产品优势
混合云大数据容灾提供近0 RPO的大数据容灾，可以将Hadoop集群容灾至阿里云OSS或EMR，在Hadoop集群间双向实时复制，构建大数据湖。应用级容灾和数据级容灾 支持将Windows、Linux应用服务器做高效的容灾复制和云上恢复，实现应用级容灾。您...
HAS Kerberos认证使用方法
common</artifactId><version>x.x.x</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>x.x.x</version></dependency>说明 x.x.x 为您集群的hadoop版本。
ODBC
下载驱动 Linux平台7u x86架构64位驱动包：polardb-odbc-7u-x86.tar.gz Linux平台8u x86架构64位驱动包：polardb-odbc-8u-x86.tar.gz Linux平台7u arm架构64位驱动包：polardb-odbc-7u-arm.tar.gz Linux平台8u arm架构64位驱动包：polardb-...
CDH6数据迁移
cp aliyun-sdk-dfs-x.y.z.jar/opt/cloudera/parcels/CDH/lib/hadoop-hdfs/说明 集群中的每台机器都需要在相同位置添加 文件存储 HDFS 版 Java SDK。部署客户端配置。返回 主页 页面，选择 状态 页签。在左侧集群组件中，单击 HDFS 右侧的 ...
非x86架构的ACK集群如何实现Prometheus的监控
本文介绍如何在非x86架构的ACK集群上部署arms-prometheus-agent，实现这些集群Prometheus的监控。使用说明 目前Prometheus Agent支持amd64、arm、arm64、ppc64le、s390x这5种架构的操作系统。操作步骤 为实现 可观测监控 Prometheus 版 在...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
SmartData常见问题
JindoFS SDK提供OSS适配功能，明确支持Hadoop 2.7后续版本和Hadoop 3.x版本。Hortonworks版本（Hortonworks Data Platform，简称HDP）和Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）都可以使用，但可能会...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
HDFS的部署拓扑
本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群 节点 组件 描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...
基于eRDMA增强型实例部署Spark集群
步骤一：准备环境 在测试集群性能前，需要先准备测试需要的集群环境，例如Hadoop和Spark机器、安装Hadoop、安装并配置eRDMA等。准备Hadoop环境。如果已有大数据集群，请忽略该步骤。软硬件环境要求 部署该集群需要准备Hadoop、Spark机器，...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
创建集群模板
使用限制 集群模板目前仅支持Hadoop和Dataflow两种集群类型。注意信息 如果您在2022年2月21日21点（UTC+8）前未使用过EMR数据开发，则无法使用该部分功能。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
跨可用区迁移
使用限制 部分实例规格族群不支持跨可用区更改实例规格，具体如下：异构计算 弹性裸金属服务器 超级计算集群 通用算力型实例规格族u1 x86计算 大数据型 本地SSD型 安全增强型 关于实例规格族的详细信息，请参见 实例规格族。目前仅支持同...
缩容集群
使用限制 支持对EMR集群的Task节点缩容，集群还需满足以下条件：EMR集群版本5.x高于5.6.0，3.x高于3.2.0。集群状态为运行中。Task节点组付费类型为按量付费或者抢占式实例类型。支持对EMR集群的Gateway节点缩容，集群还需满足以下条件：EMR...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
管理JupyterHub
JupyterHub是一个支持多用户的Notebook服务器，用于创建、管理和代理多个Jupyter Notebook实例。本文为您介绍如何访问JupyterHub的Web UI及JupyterHub的配置项信息。前提条件 已创建EMR Studio集群，详情请参见 创建集群。已创建EMR Studio...
使用Fuse-DFS挂载文件存储 HDFS 版
在Hadoop 2.7.x版本中该模块包含在hadoop-hdfs-project/hadoop-hdfs子模块中，Hadoop 2.8.x及之后的版本都在模块hadoop-hdfs-project下。配置Fuse-DFS。将编译出来的Fuse-DFS包拷贝到Hadoop客户端的bin目录下。示例命令如下：cp hadoop-2.8...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
注册Hive Kerberos集群
使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个工作空间只能注册一个Kerberos集群。SQL作业不支持访问Kerberos集群。注意事项 如果您不需要再使用Hive Kerberos集群，可以直接进行解绑。但解绑后将影响工作空间下所有项目空间中已...
新建Flink计算源
包括E-MapReduce5.x、CDH5.x Hadoop、CDH6.x Hadoop、Cloudera Data Platform 7.x、亚信DP5.3 Hadoop、星环TDH 6.x Hadoop。重要 通常情况下，未选择集群类型也能够测试连接通过；个别情况未选择可能导致测试连接失败，建议进行选择。Flink...
UserGroupsMapping
前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-...
MySQL连接器
背景信息 本文为您介绍MySQL连接器相关的内容和操作，具体如下：配置MySQL连接器 类型映射 示例：查询MySQL 下推（Pushdown）前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，或者创建单独的Presto集群，详情请参见 创建...
代理接入
针对无法直接连接到云安全中心服务端的线下IDC（Internet Data Center）机房、混合云、阿里云VPC（Virtual Private Cloud）等业务场景，您可以通过设置代理服务器，将无法连接公网的服务器（包括主机、容器）接入云安全中心进行防护。...
IDC服务器通过Proxy集群接入云安全中心
您可以将线下IDC服务器接入云安全中心，使用云安全中心务进行安全防护，以提升IDC服务器的安全性和防御能力。如果IDC服务器可以访问公网，您可以直接在IDC服务器安装云安全中心客户端；如果IDC服务器无法访问公网，则您可以通过Proxy集群...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
Serverless Spark概述
0运维：用户只需通过产品接口管理Spark作业即可，无需关心服务器配置以及Hadoop集群配置，无需扩缩容等运维操作。作业级细粒度的弹性能力：Serverless Spark按照Driver和Executor的粒度创建资源，相比于集群版的计算节点，粒度要细很多，...
创建以CPFS为共享存储的E-HPC集群
cd/tmp/rpms/CentOS/CentOS7 yum install-y gpfs.adv-*.x86_64.rpm gpfs.base-*.x86_64.rpm gpfs.docs-*.noarch.rpm gpfs.gpl-*.noarch.rpm gpfs.gskit-*.x86_64.rpm gpfs.gss.pmsensors-*.x86_64.rpm gpfs.license.dm-*.x86_64.rpm gpfs....
SDK概述
v1.0.4 将guava的依赖版本降为11.0.2，避免和Hadoop中的guava版本冲突。计算任务支持数据超过5 GB的文件大小。v1.0.3 增加OSS Client相关的配置参数。v1.0.2 修复OSS URI解析的缺陷。v1.0.1 优化OSS URI设置。增加对ONS的支持。增加...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
在文件存储 HDFS 版上使用Apache HBase
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
ProxyUser
前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-...
- 产品推荐
- 这些文档可能帮助您