GetFileSystem-获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
用户和组映射
如果您是初次使用 文件存储 HDFS 版 文件系统，可使用该API创建组并关联用户。DeleteUserGroupsMapping：删除用户和组的映射关系。ListUserGroupsMappings：查看用户和组的映射关系。使用限制 用户名和组名命名规则：必须以字母或者下划线...
ListFileSystems-批量获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
性能优化最佳实践
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
使用RAM授权访问文件存储 HDFS 版
示例一：授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统...
管理权限组
在 文件存储 HDFS 版 中，权限组是一个白名单机制。您可以创建权限组和规则，允许指定的IP地址或网段访问文件系统，并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下，每个阿里云账号会自动生成一个默认权限组，默认权限组...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
授权信息
本文为您介绍 文件存储HDFS（DFS）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。文件存储HDFS（DFS）的RAM代码（RamCode）为 dfs，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
GetMountPoint-查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@<host>:<port>/path_to/file[:]如不指定user_name参数，会自动使用默认值hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@<host>:<port>/path_to/file[:]如不指定user_name参数，会自动使用默认值hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@<host>:<port>/path_to/file[:]说明 如果是具有SubSet的NetCDF，可以通过:方式指定。如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
CDH6数据迁移
步骤一：为 文件存储 HDFS 版 添加用户和组映射 迁移数据前，您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版 实例访问控制的详细信息，请参见 访问控制。获取原CDH集群...
使用coredump分析实例程序异常
如果使用阿里云文件存储NAS，则此处为NAS文件系统的挂载点地址。Container.N.VolumeMount.N.Name String volume1 要挂载到容器的数据卷的名称，对应Volume.N.Name的值。Container.N.VolumeMount.N.MountPath String/data/dump-a/挂载目录。...
使用coredump分析实例程序异常
方式二：自定义设置core文件保存路径 core文件一般用于离线分析问题，因此设置core文件的保存路径时，一般采用外挂存储，而不是保存在容器本地路径，避免容器退出而丢失core文件。ECI支持自定义设置core文件保存路径，设置后将自动开启...
使用coredump分析实例程序异常
方式二：自定义设置core文件保存路径 core文件一般用于离线分析问题，因此设置core文件的保存路径时，一般采用外挂存储，而不是保存在容器本地路径，避免容器退出而丢失core文件。ECI支持自定义设置core文件保存路径，设置后将自动开启...
在ECI中访问HDFS数据
具体操作，请参见 开通文件存储HDFS版服务。创建文件系统。具体操作，请参见 创建文件系统。（可选）创建权限组，并设置规则。具体操作，请参见 管理权限组。创建挂载点。具体操作，请参见 管理挂载点。安装Apache Hadoop。下载Apache ...
从自建HDFS迁移数据
常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，...
在文件存储 HDFS 版上使用Presto
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop...
创建Hudi数据源
存储路径 HDFS存储：填写HDFS存储路径，请确保flink用户有访问路径的权限。格式为：hdfs:/host:port/path。OSS存储：填写OSS存储路径。填写示例：oss:/dp-oss/hudi/。若使用OSS存储还需填写OSS的Endpoint、AccessKeyID、AccessKeySecret。...
另存为
另存为文件存储时长：如果您需要调整另存为文件的存储时长，请结合 生命周期规则介绍 配置合理的文件过期策略。参数说明 使用 sys/saveas 参数时，您需要携带以下选项：选项 含义 o 目标Object名称，名称需经过URL安全的Base64编码。具体...
创建及管理数据集
文件系统路径 配置NAS中已有的存储路径。例如/。默认挂载路径 数据的默认挂载路径，可用于 DLC 和 DSW 中：在 DSW 中，创建实例时，可以将已创建的文件系统挂载在该路径。在 DLC 中，运行代码时，系统会按照该存储目录寻找文件。例如 ...
变量
例如：文档转jpg图片任务，输出路径设置为 oss:/test-bucket/output/{dirname}/{barename}/{index}.{autoext}，处理时 {autoext} 将被替换为 jpg，转换生成的图片保存路径为 oss:/test-bucket/output/源文件目录/源文件名/图片序号.jpg。...
消息通知
使用处理参数处理文档转换并接收MNS消息通知 转换信息 转换前 文件类型：DOCX 文件名称：example.docx 转换后 文件类型：PNG 文件存储路径：oss:/test-bucket/doc_images/消息通知 将转换结果通知发送到主题名称为 test-topic 的MNS。...
文件
描述 apFilePath String 文件保存路径 代码示例 my.chooseImage({ success:(res)=>{ my.saveFile({ apFilePath:res.apFilePaths[0],success:(res)=>{ console.log(JSON.stringify(res))},});},});my.getFileInfo 说明 基础库 1.4.0 及以上...
入门概述
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及AI训练PAI等...
NAS存储卷概述
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS基于POSIX文件接口，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以同时访问...
- 产品推荐
- 这些文档可能帮助您