创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
Maven 仓库
Flow 会优先使用构建代码库的根目录下 Maven 的 settings.xml 文件中配置的依赖库，该配置仅影响与此代码库相关的流水线。同时需要在构建指令中，指定setting.xml文件。mvn-s settings.xml clean package 如果用户在企业设置->Maven 设置中...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
inventory（清单）
创建本地文件，并在文件中配置XML格式的清单规则。ossutil先从本地文件中读取清单配置，然后将读取到清单配置添加到指定的Bucket。命令格式./ossutil64 inventory-method put oss:/bucketname local_xml_file 参数说明如下：参数 说明 ...
常见问题排查
No FileSystem for scheme:dfs 信息 执行 hadoop 命令行或者任务失败，提示 No FileSystem for scheme:dfs 信息时，请按如下步骤进行排查：确认如下 文件存储 HDFS 版 相关配置已经添加到所有Hadoop环境的core-site.xml文件中。...
SDK示例
从指定的core-site.xml文件中读取配置 conf.addResource(new Path(PATH_TO_CORE_SITE_XML));fileSystem=FileSystem.get(conf);} 未配置core-site.xml文件，使用以下代码加载 文件存储 HDFS 版 相关配置进行初始化操作。private void init()...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
0015-00000231
问题描述 存储空间创建请求XML配置不规范。问题原因 您发起了PutBucket请求，但是您的请求中请求体XML格式不正确，或根节点名称不是所要求的 CreateBucketConfiguration。问题示例 比如您发起了如下请求：PUT/...
生命周期管理FAQ
在备份低频存储或归档存储中的文件时，云备份服务需要读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储读流量费用。更多信息，请参见 通用型NAS计费。如何关闭生命周期管理功能？启用生命周期管理功能，您可以将通用型NAS文件...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
RDS SQL Server空间不足问题
以上操作通常可以有效降低数据空间大小，但是如果实例空间仍然有压力，可以执行 DBCC SHRINKFILE 命令收缩数据文件，将数据文件中未分配空间释放给操作系统。以上图为例，一个区（Extent）的大小为64 KB，因此数据文件的总空间大小为104584...
数据库
temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略 log_temp_files 的设置。deadlocks bigint 在数据库中被检测到的死锁数。blk_read_time double precision 在...
数据库
temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略 log_temp_files 的设置。deadlocks bigint 在数据库中被检测到的死锁数。blk_read_time double precision 在...
0036-00000002
问题描述 访问跟踪配置请求中XML格式有误。问题原因 您发起了PutBucketAccessMonitor请求来进行访问跟踪配置，但是您提供的XML配置有误，比如请求体中的内容不是合法的XML结构，或者根节点不是 AccessMonitorConfiguration。问题示例 比如...
添加CSV文件
y":25.6,"s":"降水量"},{"x":"5月","y":28.7,"s":"蒸发量"},{"x":"6月","y":76.7,"s":"降水量"},{"x":"6月","y":70.7,"s":"蒸发量"},{"x":"7月","y":135.6,"s":"降水量"},{"x":"7月","y":175.6,"s":"蒸发量"}]数据格式示例 CSV文件中的第...
添加CSV文件
y":25.6,"s":"降水量"},{"x":"5月","y":28.7,"s":"蒸发量"},{"x":"6月","y":76.7,"s":"降水量"},{"x":"6月","y":70.7,"s":"蒸发量"},{"x":"7月","y":135.6,"s":"降水量"},{"x":"7月","y":175.6,"s":"蒸发量"}]数据格式示例 CSV文件中的第...
计费常见问题
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件存储 HDFS 版 服务如何停止计费？如果您确实不再使用 文件存储 HDFS 版 服务，可以删除数据，并删除挂载点，再删除文件系统，即可在下一个账期不产生扣费。删除...
CSV
本文介绍如何在DLA中为不同编码格式的CSV类型的数据文件创建表，以及如何通过OpenCSVSerDe处理CSV文件中特殊格式的数据。创建数据文件表之前，您需要先创建OSS Schema，本文示例中所有数据文件表均使用以下OSS Schema。CREATE SCHEMA dla_...
挂载文件系统场景说明
NAS数据迁移至本地 如果您想将文件存储NAS中的数据迁移至本地，可通过SFTP、rsync、Robocopy下载数据至线下或将数据迁移至OSS后再下载。具体操作，请参见 将NAS数据迁移至本地。卸载文件系统目录 如果您想卸载在计算节点上挂载的文件系统...
快速入门（Windows）
当您要访问文件存储NAS中的数据时，需要先创建文件系统并完成挂载操作。本文介绍如何在NAS控制台创建SMB文件系统，并在专有网络下通过ECS实例（Windows Server 2019）挂载SMB文件系统实现数据的上传与下载。前提条件 已开通文件存储NAS服务...
什么是文件存储 HDFS 版
文件存储 HDFS 版和对象存储OSS双向数据迁移 文件存储 HDFS 版和数据库MySQL双向数据迁移 迁移开源HDFS的数据到文件存储 HDFS 版 产品定价 文件存储 HDFS 版 计量项包括标准吞吐、预置吞吐，计费方式支持按量付费方式。详细的计费规则，请...
COPY
\copy 会调用 COPY FROM STDIN 或者 COPY TO STDOUT，然后读取/存储一个 psql客户端可访问的文件中的数据。因此，在使用 \copy 时，文件的可访问性和访问权利取决于客户端而不是服务器。我们推荐在 COPY 中使用的文件名总是指定为一个绝对...
将NAS数据迁移至本地
文件存储NAS支持通过rsync命令行工具、Robocopy工具等直接下载数据到本地文件。您也可以将数据同步到OSS后再在OSS侧下载数据到本地文件。重要 下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据下载，避免占用业务...
配置Hive输出组件
文件编码 选择文件存储在Hive的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（Hive数据源）写入数据时，数据写入表中的策略。加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新...
0017-00000601
问题描述 您的请求中请求体XML格式不正确，请结合ErrorMessage调整。问题原因 您的请求中请求体XML格式不正确，请结合ErrorMessage调整。问题示例 以PutBucket作为示例，请求体XML格式需正确。PUT/...
读写外部数据文本文件（oss_fdw）
encoding 文件中数据的编码格式，支持常见的pg编码，如utf8。parse_errors 容错模式解析，以行为单位，忽略文件分析过程中发生的错误。delimiter 指定列的分割符。quote 指定文件的引用字符。escape 指定文件的逃逸字符。null 指定匹配对应...
使用OSS外表高速导出数据到OSS
ENCODING 文件中数据的编码格式，例如UTF8。DISTRIBUTED BY DISTRIBUTED BY子句可以让数据节点（Segment）按指定的分布键将数据导出到OSS。oss:/oss_endpoint 协议和Endpoint，格式为 协议名:/oss_endpoint，其中协议名为oss，oss_endpoint...
使用OSS外表高速导入OSS数据
将待导入 AnalyticDB PostgreSQL 的数据均匀分散存储在多个OSS文件中。操作方式，请参见 大文件切分。说明 AnalyticDB PostgreSQL 的每个数据分区（Segment节点）将按轮询方式并行对OSS上的数据文件进行读取，文件的数目建议为数据节点数...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
什么是文件存储NAS
阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口，天然适配原生操作系统...
释放文件系统实例资源
本文介绍如何释放阿里云文件存储NAS实例资源。警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。如果需要继续使用文件系统中的数据，请提前迁移数据。关于迁移数据的更多信息，请参见 迁移...
服务器端加密
文件存储NAS支持服务器端加密功能。当您对文件存储有高安全性或者合规性要求时，建议您开启服务器端加密功能。开启该功能后，NAS会对存储在文件系统中的数据进行加密，访问数据时，NAS自动将加密数据解密后返回给用户。本文介绍服务器端...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
文件系统存储类型
数据存储 数据取回 成本节省计划 低频存储和归档存储是针对存储在标准存储空间中的冷数据进行成本优化。设置生命周期管理策略，您可以根据业务实际访问数据的情况自动分级存储数据，从而优化存储成本。如果您需要频繁访问低频存储或归档...
删除文件系统
登录 文件存储控制台。在左侧导航栏，选择 文件系统>文件系统列表。在顶部菜单栏，选择地域。找到目标文件系统，单击操作列的 图标>删除。在 删除文件系统 对话框，确认待删除的文件系统名称，单击 确认。说明 删除CPFS文件系统时会自动...
- 产品推荐
- 这些文档可能帮助您