访问HBase
Hadoop访问HBase 详情请参见 HBase MapReduce Examples。Hive访问HBase 登录Hive集群主节点，修改 hosts 文件，增加如下内容。zk_ip emr-cluster/$zk_ip为Hbase集群的Zookeeper节点IP。执行Hive操作，详情请参见 Hive HBase Integration。
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
管理Hive Catalog
网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录 OSS管理控制台 OSS管理控制台。单击 Bucket列表。单击目标Bucket名称。在 oss:/${bucket}/...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
生命周期管理概述
第一次访问冷数据时，延迟时间会稍有增加，之后的访问性能与访问通用型NAS存储空间中的数据一致。访问低频存储或归档存储中的冷数据会产生读写流量费用。更多信息，请参见 通用型NAS计费。当需要频繁访问低频存储或归档存储中的数据时，...
接入点概述
操作系统 仅支持以下Linux操作系统使用接入点方式访问通用型NAS NFS协议文件系统。操作系统类型 操作系统版本 Alibaba Cloud Linux Alibaba Cloud 2.1903 64位 Red Hat Red Hat Enterprise Linux 7.x 64位 Red Hat Enterprise Linux 8.x 64...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
使用JindoFS SDK免密功能
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
HAS Kerberos认证使用方法
通过hadoop命令访问HDFS 以test用户访问HDFS服务为例介绍。在Gateway节点配置 krb5.conf 文件。scp root@emr-header-1:/etc/krb5.conf/etc/配置 hadoop.security.authentication.use.has 的值为 false。登录集群的emr-header-1节点。说明 ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
Lemon-duck在多个平台利用多种入侵方式如何一键防御
概述 Lemon-duck不仅利用永恒之蓝漏洞、RDP暴力破解、SSH暴力破解、MS-SQL暴力破解、Redis未授权访问、Hadoop未授权访问等进行扫描入侵，同时变种集成WebLogic未授权访问远程命令执行漏洞进行互联网传播，并通过SMB、NTLM进行横向移动，...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
迁移OSS-HDFS服务不同Bucket之间的数据
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
使用Hive在EMR集群中创建OSS表
去掉fs.oss.credentials.provider配置后，通过ls命令，发现无法访问OSS hadoop fs-ls oss:/test_bucket/test_db ls:ERROR:without login secrets configured./加上AccessKey配置之后，可以看到能够查看oss文件目录 hadoop fs-ls oss:/test_...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
Spark Load
Spark Load支持Kerberos认证 如果是Spark Load访问带有Kerberos认证的Hadoop集群资源，您只需要在创建Spark resource的时候指定以下参数即可：broker.hadoop.security.authentication：指定认证方式为kerberos。broker.kerberos_principal...
注册EMR集群至DataWorks
设置集群身份映射：当EMR集群默认访问身份非hadoop账号时，您需要配置集群身份映射，控制操作DataWorks的RAM用户在DataWorks仅可访问其有权限的资源，实现权限管控。设置全局YARN资源队列：您可通过YARN资源队列映射，指定各模块使用的YARN...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
数据湖生态接入
参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用JindoSDK访问OSS-...
OSS/OSS-HDFS快速入门
访问方式 支持通过Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四种方式访问OSS/OSS-HDFS。各访问方式的示例和描述如下：访问方式 示例 描述 Hadoop Shell命令 hadoop fs-ls oss:/examplebucket....
JindoFS实战演示
Hadoop/Spark访问OSS加速 Hadoop/Spark访问OSS加速 2021-05-25 与开源的Hadoop-OSS-SDK相比，JindoFS SDK具有更优异的性能表现。能够兼容大部分的Hadoop版本、由阿里云EMR Hadoop专业团队维护、可靠性高、能够及时跟进OSS最新特性和优化、...
- 产品推荐
- 这些文档可能帮助您