什么是文件存储 HDFS 版
以下为调用 文件存储 HDFS 版 API的常用开发者工具：OpenAPI开发者门户：提供快速检索接口、在线调用API和动态生成SDK示例代码等服务。数据迁移 您可以将存储介质上的数据直接迁移至 文件存储 HDFS 版，也可以将 文件存储 HDFS 版 中的数据...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
计费常见问题
本地数据迁移至 文件存储 HDFS 版 本地数据迁移至 文件存储 HDFS 版 时，需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 版。弹性公网IP对入方向流量不收费，仅对出方向流量收费。即从公网上传数据到 文件存储 HDFS 版 不会收取...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
集群吞吐性能测试
测试集群吞吐性能所使用的TestDFSIO是一个分布式任务，存在任务调度及结果汇总阶段，计算集群吞吐均值时会略低于 文件存储 HDFS 版 吞吐限速。在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 版 之上已有指定的待测数据，如果没有...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
卸载并释放CDH6 HDFS服务使用的云盘
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...
卸载并释放E-MapReduce HDFS使用的云盘
重要 从数据安全性考虑，数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版 上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘，通常是/mnt/disk1上...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
性能监控
前提条件 已创建 文件存储 HDFS 版 文件系统。具体操作，请参见 创建文件系统。已开通云监控服务。您可以登录 云监控产品详情页，根据页面提示开通服务。性能监控指标说明 指标 指标名称 单位 描述 read_iops 文件系统读请求频率 次/秒 该...
API概览
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
元数据性能测试
注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据，请先使用create_open创建待测数据。测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 ...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
DeleteUserGroupsMapping-删除用户和组的映射关系
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件和目录权限。文件系统不允许删除用户和组，只能删除用户和...
ListUserGroupsMappings-查看用户和组的映射关系
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）下表是 文件存储HDFS（DFS）定义的资源，这些资源可以在RAM权限策略语句的 Resource 元素中使用，用来授予对该资源执行具体操作的权限。其中，资源ARN是资源在...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
版本说明
变更时间：2024-04-23 变更集发布说明：OpenAPI 名称 变更内容概要 操作 DeleteUserGroupsMapping API 内部配置变更，不影响调用。查看API变更历史 查看API文档 变更项 变更内容 API 内部配置变更，不影响调用。变更时间：2024-04-07 变更...
DeleteFileSystem-删除文件系统
接口说明 仅当文件系统的挂载点数目为 0 时，支持删除文件系统实例。文件系统实例一旦删除，数据将不可恢复，请谨慎操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
通过DataWorks导入
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍如何通过DataWorks将HDFS数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
DescribeVscMountPoints-获取VSC挂载点信息列表
hdfs1 Instances object[]已挂载 HDFS 文件系统的 ECS 实例信息集合。Status string 已挂载 HDFS 文件系统的 ECS 实例状态。包括：NORMAL：挂载成功。CREATING：挂载中。INVALID：挂载失败。NORMAL InstanceId string 已挂载 HDFS 文件系统...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
DeleteAccessGroup-删除权限组
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InputRegionId string 是 ...
DeleteAccessRule-删除权限组规则
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InputRegionId string 是 ...
- 产品推荐
- 这些文档可能帮助您