开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
什么是文件存储 HDFS 版
此外，多个计算节点可以同时访问同一个 文件存储 HDFS 版 实例，共享文件和目录。使用方式 通过注册阿里云账号，您可以在开通文件存储HDFS版服务的地域下，通过阿里云提供的以下途径创建、使用或者释放 文件存储 HDFS 版 实例：文件存储 ...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
CDH6数据迁移
步骤一：为 文件存储 HDFS 版 添加用户和组映射 迁移数据前，您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版 实例访问控制的详细信息，请参见 访问控制。获取原CDH集群...
欠费说明
本文介绍 文件存储 HDFS 版 欠费后服务状态及查看欠费金额。欠费停服说明 状态 资源状态 如何操作 欠费预警 系统根据服务最近7小时的账单应付金额的平均值来判断您的账户余额是否足以支付下三个账期的费用。如果不足以支付，系统将以短信或...
卸载并释放CDH6 HDFS服务使用的云盘
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
卸载并释放E-MapReduce HDFS使用的云盘
重要 从数据安全性考虑，数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版 上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘，通常是/mnt/disk1上...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
文件存储 HDFS 版支持Python SDK吗？
文件存储 HDFS 版 提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
阿里云 文件存储 HDFS 版（Apsara File Storage for HDFS）已与阿里云ActionTrail集成，您可以在ActionTrail中查看和检索用户行为日志，同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中，满足实时审计、问题回溯...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
ListUserGroupsMappings-查看用户和组的映射关系
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
CreateUserGroupsMapping-创建用户和组的映射关系
创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
GetFileSystem-获取文件系统详细信息
这是我公司的第一个文件存储HDFS版实例。MountPointCount long 挂载点数量。2 ThroughputMode string 吞吐模式。包括：Standard：标准吞吐 Provisioned：预置吞吐 Standard ZoneId string 可用区 ID。cn-hangzhou-b NumberOfFiles long ...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
ListFileSystems-批量获取文件系统详细信息
这是我公司的第一个文件存储HDFS版实例。MountPointCount long 挂载点数量。2 ThroughputMode string 吞吐模式。包括：Standard：标准吞吐 Provisioned：预置吞吐 Standard ZoneId string 可用区 ID。cn-hangzhou-b NumberOfFiles long ...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
元数据性能测试
配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
基本概念
同一个Raft组的多副本部署在同一个存储节点组的多个节点，通过Raft协议保证多副本的数据一致性。分片示意图 AnalyticDB for MySQL 集群的分片数量不受配置变更的影响。查询集群的分片数：SELECT COUNT(1)FROM information_schema.kepler_...
术语表
本文介绍云原生分布式关系型数据库PolarDB-X使用过程中遇到的术语。控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）...
授权信息
本文为您介绍 文件存储HDFS（DFS）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。文件存储HDFS（DFS）的RAM代码（RamCode）为 dfs，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
在文件存储 HDFS 版上使用Apache HBase
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
在文件存储 HDFS 版上使用Apache Spark
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
在文件存储 HDFS 版上使用Apache Flink
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
计费常见问题
本地数据迁移至 文件存储 HDFS 版 本地数据迁移至 文件存储 HDFS 版 时，需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 版。弹性公网IP对入方向流量不收费，仅对出方向流量收费。即从公网上传数据到 文件存储 HDFS 版 不会收取...
- 产品推荐
- 这些文档可能帮助您