SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
Flink Python作业快速入门
本示例中的数据输出文件目录为 oss:/flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt/，该目录下的文件夹名称是作业的启动日期和时间，单击文件夹查看作业结果文件。单击目标文件名后，在弹出的...
用量查询
阿里云支持导出表格存储的使用明细。本文介绍查询表格存储使用明细的操作步骤。操作步骤 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。...待CSV文件导出成功后，您可以将文件下载到本地，查看表格存储的使用明细。
Web服务和内容管理
文件存储NAS可用于各种内容管理系统和Web服务应用程序，为网站及应用程序提供高效存储服务。本文列举了Web服务的最佳实践案例。使用Nginx代理服务器代理阿里云NAS 通过Windows IIS服务访问阿里云NAS 容器服务ACK+文件存储NAS快速搭建NGINX...
新建表结构模板
数据表结构 您可以参考以下两个 CSV 文件作为表结构模板上传到平台中，当您上传 CSV 文件后，平台将自动解析表结构，您可以预览表结构并修改字段描述。linear_alice.schema.csv linear_bob.schema.csv 配置完成后单击 确定。后续步骤 新增...
Dataphin如何将本地CSV文件上传到Dataphin环境上的表...
概述 本文主要介绍怎么通过Dataphin将本地CSV文件上传到表里。详细信息 在集成任务中选择输入组件为本地CSV。1.上传本地文件。注意本地文件的格式需要和文件编码保持一致，否则可能出现乱码问题。适用于 Dataphin 说明：本文主要基于...
入门概述
文件存储NAS概述 阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
常见问题
产品简介FAQ 什么是文件存储NAS？文件存储NAS支持哪些访问协议？如何选择NFS和SMB文件系统协议？每个账户可以创建多少个文件系统、文件系统有什么限制？更多产品简介常见问题 产品定价FAQ 开通NAS服务后，就开始计费吗？购买了存储包为什么...
在线扩容
本文主要说明阿里云数据库文件存储服务DBFS的在线扩容功能。进入“数据库文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮，弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”，单击“开始扩容”按钮后提交扩容申请。
卸载并释放CDH6 HDFS服务使用的云盘
背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH HDFS服务的云盘，降低集群的拥有成本。重要 从数据安全性考虑，数据迁移后建议进行数据完整性...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
基于OSS外表的单表多文件查询
您可以将CSV文件按行拆分为多个小的CSV文件，且单个CSV文件大小建议为128 MB，最大限制为1 GB。说明 拆分CSV格式的文件时，必须按照完整的一行数据进行拆分，不能从一行数据中间进行拆分，需要保证每一个OSS数据文件的完整性。文件命名规则...
CSV格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。参数配置 在 创建OSS投递任务（新版）时，选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
集成概览
调用方式 调用方式 支持情况 备注 阿里云SDK（推荐）支持 文件存储NAS支持的语言及依赖安装方法，请参见 文件存储（NAS/CPFS）SDK。阿里云SDK集成方式说明请参见 阿里云 SDK。阿里云CLI 支持 阿里云CLI调用方式说明请参见 阿里云 CLI。资源...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
管理用户
如需批量创建用户，请在 批量录入 页签上传符合格式要求的CSV文件。表 5.创建用户 面板参数说明 参数 是否必需 描述 限制 示例值 手动录入 页签 请输入用户名 是 用户的名称。用户名长度为3~24个字符，必须以小写字母或数字开头，此外还可...
部署作业
上传的附件依赖文件会固定被保存在oss:/ossBucketName/artifacts/namespaces/namespaceName/目录。填写目标附加依赖文件的OSS路径。您需要提前将附加依赖文件上传至当前实例对应的OSS Bucket，上传附加依赖文件的OSS Bucket必须为您开通...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
计费概述
文件存储CPFS支持创建不同类型的CPFS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储CPFS的计费情况。计费方式 文件存储CPFS支持以下计费方式。计费方式 说明 按量计费 默认付费方式。先使用，后付费，适用于业务用量经常有...
在文件存储 HDFS 版上使用Presto
本文主要介绍如何在 文件存储 HDFS 版 上搭建及使用Presto。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8...
导入结构和数据
单表导入时支持导入 CSV 文件，CSV 文件是.csv 或.txt 结尾的支持自定义分割符的数据文件。注意事项 Web 版 ODC 对导入上传的文件大小有限制，最大支持导入 2GB（压缩后）的文件，超出部分无法上传。如需导入大量数据，请使用导数工具 ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
如何批量创建/导出账号？
请下载格式模板>>把相关成员信息复制到模板中进行调整>>将编辑好的CSV文件上传至服务器即可创建完毕 导入过程需要注意的事项：1、请使用Excel创建一个CSV文件，格式如下：2、导入内容：姓名（必填）、邮箱账号（必填）、工号、邮箱密码、...
CSV文件
超出此数目的格式错误的记录将被忽略 Write QuoteAll true,false false 指定是否将所有值括在引号中，而不是仅转义具有引号字符窜的值 Read multiline true,false false 此选项用于读取多行CSV文件，其中CSV文件中的每个逻辑行可能跨越文件...
数据安全
文件存储NAS提供服务器端加密和客户端加密，可有效防止数据在云端的潜在安全风险。数据加密 数据传输加密 文件存储NAS支持TLS传输链路加密，开启TLS功能后，NAS客户端和服务端之间的通信会进行TLS数据传输加密。开启TLS功能的介绍，请参见 ...
卸载并释放E-MapReduce HDFS使用的云盘
背景信息 当E-MapReduce已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建E-MapReduce HDFS服务的云盘，降低集群的拥有成本。重要 从数据安全性考虑，数据迁移后...
【公告】数据库文件存储按量付费价格下调
尊敬的阿里云用户，阿里云将于2023年01月30日起调整数据库文件存储（公测）按量付费价格。调整时间 2023年01月30日00:00:00。调整地域 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）。调整内容 版本类型 调整前单价（GB/...
使用在线迁移服务迁移数据
使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标NAS的地址信息，并创建迁移任务即可。迁移任务启动后，...
如何选用NAS、OSS和EBS？
本文介绍文件存储NAS与对象存储OSS、块存储EBS的区别和部署架构，帮助您更好地选用合适的阿里云存储服务。产品对照表 文件存储NAS、对象存储OSS和块存储EBS的主要区别如下表所示。对比项 文件存储NAS 对象存储OSS 块存储EBS 特点 原有使用...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
ECS支持说明
支持挂载数据库文件存储（DBFS）的ECS实例规格如下：存储增强通用型g7se 存储增强计算型c7se 存储增强内存型r7se
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
- 产品推荐
- 这些文档可能帮助您