步骤一:为 文件存储 HDFS 版 添加用户和组映射 迁移数据前,您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版 实例访问控制的详细信息,请参见 访问控制。获取原CDH集群...
确认不再使用 文件存储 HDFS 版 文件系统后,您需要参考 挂载文件系统 中的内容,删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置,完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已部署Apache HBase分布式集群,且版本必须与Hadoop版本兼容。具体...
Presto使用maven-shade-plugin插件打包,对引入的Hadoop依赖进行了重命名,文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包,Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时,文件存储 HDFS 版 获取不到Presto重...
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面,填写必要信息后单击 ...
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。更多信息,下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作,...
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。...
而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力,无需将数据迁移到计算资源本地,因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。将数据存入 文件存储 HDFS 版,ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...
数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作,请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作,请参见 快速入门。已为Hadoop集群...
您可以 下载最新的文件存储 HDFS 版的Java SDK,将其部署在Hadoop生态系统组件的CLASSPATH上,具体操作,请参见 挂载文件存储 HDFS 版文件系统。cp aliyun-sdk-dfs-x.y.z.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 执行如下命令将${...
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前,公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个...
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作,请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH ...
您可以 下载最新的文件存储HDFS版的Java SDK,将其部署在Hadoop生态系统组件的CLASSPATH上,具体操作,请参见 挂载文件存储 HDFS 版文件系统。cp aliyun-sdk-dfs-x.y.z.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 执行如下命令将${...
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作,请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 文件系统。在 文件...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
重要 从数据安全性考虑,数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版 上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘,通常是/mnt/disk1上...
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据,并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务,提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...
测试集群吞吐性能所使用的TestDFSIO是一个分布式任务,存在任务调度及结果汇总阶段,计算集群吞吐均值时会略低于 文件存储 HDFS 版 吞吐限速。在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 版 之上已有指定的待测数据,如果没有...
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏,单击 账单管理>账单详情。在 明细账单 页签中,设置查询 账期,并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
阿里云 文件存储 HDFS 版(Apsara File Storage for HDFS)已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯...
文件存储 HDFS 版 为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
本文介绍如何在 文件存储 HDFS 版 控制台上管理挂载点,包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件 已创建文件系统。具体操作,请参见 创建文件系统。挂载点说明 一个阿里云账号最多...
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息,请参见文件...
本产品(文件存储 HDFS 版/2018-06-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后,就开始计费吗?文件存储 HDFS 版服务如何停止计费?删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?使用文件系统上传下载数据时,是否计费...
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...
您也可以使用 文件存储 HDFS 版 的多挂载功能实现单文件系统实例同地域的多VPC访问。属性 VPC1 VPC2 VPC3 网络实例的网段规划 VPC网段:192.168.0.0/16 交换机网段:192.168.0.0/24 VPC网段:10.0.0.0/16 交换机网段:10.0.0.0/24 VPC网段...
创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...
前提条件 已创建 文件存储 HDFS 版 文件系统。具体操作,请参见 创建文件系统。已开通云监控服务。您可以登录 云监控产品详情页,根据页面提示开通服务。性能监控指标说明 指标 指标名称 单位 描述 read_iops 文件系统读请求频率 次/秒 该...
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK,且JDK版本不低于1.8。背景信息 本文以hadoop...
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下:false:使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true:使用Hadoop默认的 buffer size ...
如果您是初次使用 文件存储 HDFS 版 文件系统,可使用该API创建组并关联用户。DeleteUserGroupsMapping:删除用户和组的映射关系。ListUserGroupsMappings:查看用户和组的映射关系。使用限制 用户名和组名命名规则:必须以字母或者下划线...
配置名称 配置说明 计算VM配置 CPU核数:4核 内存:16 GB 机器数量:6台 网络带宽:1.5 Gbps 文件存储 HDFS 版 配置 实例大小:10 TB 吞吐限速:1000 MB/s 软件配置 Apache Hadoop:Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准...
授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二:授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID,...
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...
本文为您介绍 文件存储HDFS(DFS)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。文件存储HDFS(DFS)的RAM代码(RamCode)为 dfs,支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式,其...
在 文件存储 HDFS 版 中,权限组是一个白名单机制。您可以创建权限组和规则,允许指定的IP地址或网段访问文件系统,并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下,每个阿里云账号会自动生成一个默认权限组,默认权限组...