PythonArtifact
名称 类型 描述 示例值 object 本数据结构代表 Python 类型作业必填的信息。pythonArtifactUri string Python 类型作业 URL 全路径。https://oss/bucket/test.py mainArgs string 启动参数。start from main entryModule string Python 的...
安装
说明 OSS Python SDK需要crcmod计算CRC校验码，而crcmod依赖python-devel包中的Python.h文件。如果系统缺少Python.h文件，虽然之后安装OSS Python SDK不会失败，但crcmod的C扩展模式安装会失败。如果crcmod的C扩展模式安装失败，在上传、...
迁移指南
Python%pyspark data=spark.read.parquet("/data-pipeline")data.write.format("delta").save("/mnt/delta/data-pipeline/")创建一个Delta表events，该表引用Delta Lake目录中的文件：Python%pyspark spark.sql("CREATE TABLE events USING...
挂载文件存储 HDFS 版文件系统
export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。name>fs.defaultFS</name><value>dfs:/f-xxxxxxxx....
目录和文件访问权限
数字形式 短格式 说明 7 RWX 所有权限 5 R-X 读取+执行权限 4 R-读取权限 0-无权限 权限示例 例如，HDFS 中的一个目录结构为/Dir1/Dir2/file，Dir1是根目录中的一个目录，Dir2是Dir1中的一个目录，file是Dir2中的一个文件。当您需要对/，...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
基本概念
每个挂载点都对应一个域名，您需要修改 core-site.xml 中的配置来访问 文件存储 HDFS 版 中的文件。权限组 权限组是若干访问文件系统的权限规则的集合。包括授权地址、读写权限、用户权限等。说明 每个挂载点都必须与一个权限组绑定。权限...
基础管理FAQ
您需要先将nas的配置从/etc/fstab文件中注释掉，然后再重启服务器。为防止再次出现这类异常问题，建议您在删除文件系统实例前，先在操作系统中卸载文件系统，然后再删除文件系统。如果还开启了自动挂载配置，您还需要删除或修改自动挂载，...
什么是文件存储NAS
阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口，天然适配原生操作系统...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
Linux系统挂载SMB协议文件系统
您也可以开启回收站功能，在误删除通用型NAS文件系统中的文件时，可以通过NAS回收站恢复这些文件及其UID、GID和ACL等元数据信息。更多信息，请参见 回收站。如果您是想在本地服务器或线下IDC中挂载访问SMB协议文件系统，请参见 本地数据...
数据安全
文件存储NAS提供服务器端加密和客户端加密...为了防止由于误删除、数据篡改等导致重要数据不可用，您可以使用文件存储NAS回收站功能或快照功能备份文件系统中的文件或目录，并在数据丢失或受损时及时恢复。更多信息，请参见 回收站 和 快照。
文件存储 HDFS 版和对象存储OSS双向数据迁移
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 将JindoSDK OSS实现类配置到core-site.xml文件中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
什么是CPFS智算版（邀测）
CPFS智算版是阿里云文件存储CPFS推出的一款超高性能的文件存储服务，支持端到端RDMA网络，应用于AIGC、自动驾驶等智算...如果您不再使用CPFS智算版文件系统，可以清空文件系统中的文件并删除文件系统实例。具体操作，请参见 删除文件系统。
性能监控FAQ
您可以登录 NAS控制台，在 性能监控 页签中的 文件系统类型 选项框中选择 CPFS，查看读写吞吐、读写IOPS、读写时延、元数据QPS等指标。具体操作，请参见 查看CPFS性能监控。怎么对CPFS文件系统进行性能调优？性能参数 参数 说明 ...
创建数据取回任务
如果您需要频繁访问低频介质中存储的文件，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间，避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时，NAS会根据目标文件...
Windows挂载NFS协议的通用型NAS文件系统
更多信息，请参见 如何解决Windows客户端对NFS文件系统中的文件重命名时返回的invalid device错误。执行 mount 检查挂载结果。挂载完成后，回显信息必须包括mount=hard、locking=no以及timeout参数>=10，否则说明挂载有问题。如果不一致，...
新功能发布记录
本文列举了文件存储NAS产品功能发布的时间、发布地域及相关文档。2024年02月 功能名称 功能概述 发布时间 发布地域 相关文档 通用高级型NAS 通用型NAS新增一个存储规格类型为高级型的文件系统。适用于容器数据持久化、AI训练数据存储、工业...
使用Fuse-DFS挂载文件存储 HDFS 版
背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE（用户空间中的文件系统）在UNIX文件系统上映射HDFS的功能，在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块，如需使用该功能需要手动编译该功能模块并添加到...
设置生命周期策略
费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取一定的低频介质存储容量费用。低频存储读/写流量费用：根据您每小时访问低频存储内数据的读写流量累积值计费（不区分内网和公网）。归档存储...
特性
例如，myfile 文件中有如下ACL。虽然包含alice的ACE中没有写权限，但因为other有写权限，所以用户alice也拥有写权限。示例如下：执行命令 getfacl myfile 返回信息#file:myfile#owner:root#group:root user:rw-user:alice:r-group:r-mask:r...
基于NAS部署可更换模型的FC Stable Diffusion进行AI...
说明 首次使用数据迁移的用户，数据类型选择为NAS时，需要进行授权，请根据对话框中的提示，完成数据迁移服务（MGW）授权。参数 示例 说明 数据类型 NAS NAS 数据名称 fcnas 输入3~63位字符。不支持短划号（-）和下划线（_）之外的特殊字符...
创建CNFS管理NAS文件系统（推荐）
容器网络文件系统CNFS（Container Network File System）将阿里云的文件存储抽象为一个K8s对象（CRD）进行独立管理，包括创建、删除、描述、挂载、监控及扩容等运维操作。您可以通过CNFS创建一个新的NAS文件系统或管理已存在的NAS文件系统...
CreateRecycleBinRestoreJob-恢复回收站中暂存的文件
恢复一个暂存回收站中的文件。接口说明 仅通用型 NAS 文件系统支持该功能。单个文件系统一次只能执行一个文件恢复或清理任务。正在恢复文件时，无法发起新的文件恢复或清理任务。单个恢复任务只能恢复一个文件或目录，恢复指定目录会递归...
Python脚本示例
本文介绍Python语言的自定义Topic消息解析脚本模板和示例。脚本模板 SELF_DEFINE_TOPIC_UPDATE_FLAG='/user/update'#自定义Topic：/user/update。SELF_DEFINE_TOPIC_ERROR_FLAG='/user/update/error'#自定义Topic：/user/update/error。将...
Dataphin中创建Python读取MaxCompute物理表中数据
概述 本文描述如何在Dataphin中创建Python文件读取MaxCompute物理表中数据。详细信息 在Dataphin创建Shell文件，执行以下代码：pip install pyodps 2.在Dataphin创建Python文件，执行以下代码：from odps import ODPS o=ODPS('your-access-...
NFS文件系统传输加密
传输加密功能通过TLS协议保护您的ECS实例与NAS服务之间网络传输链路上的数据安全，确保您...方案二：修改NAS客户端工具配置文件/etc/aliyun/alinas/alinas-utils.conf 中的 proxy_port 参数，修改为未被占用的端口号，然后重新挂载文件系统。
Linux系统挂载NFS协议文件系统
创建NAS NFS协议文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域，已有可用的云服务器ECS...
CPFS-NFS客户端挂载文件系统（推荐）
proxy_port_max=60000[mount-watchdog]poll_interval_sec=1 unmount_grace_period_sec=30 dns_refresh_interval=60[client-tool]配置文件中的重要参数说明如下：参数 说明 logging_level 日志级别。默认为INFO。logging_max_bytes 日志文件...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
什么是文件存储CPFS
在CPFS侧管理OSS桶中的文件，并通过POSIX接口访问OSS中的数据，CPFS会以数据块粒度透明的加载OSS中的数据，并放入CPFS中进行加速，应用无需特殊改造。更多信息，请参见 数据流动概述。NFSv4 ACL CPFS文件系统支持NFSv4 ACL，您可以通过NFSv...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
准备环境
在使用Python SDK收发消息前，您需按照本文提供的内容来准备环境。环境要求 安装Python。更多信息，请参见 安装...安装完成后，您可以执行 python-V 命令查看Python语言版本。安装SDK 执行以下命令，安装Python SDK。pip install mq_http_sdk
Flink Python作业快速入门
步骤五：查看Flink计算结果 查看Python流作业计算结果：在TaskManager中以.out 结尾的日志文件中，搜索shakespeare查看Flink计算结果。重要 如果您使用的是Python测试文件，流作业变为 已完成 状态时会删除作业结果，故流作业状态为 运行中...
PyMySQL 连接 OceanBase 数据库示例程序
示例如下：obclient-hxxx.xxx.xxx.xxx-P3306-utest_user001-p*-Dtest 步骤四：修改 config.py 文件中的数据库连接信息 根据 步骤三：获取 OceanBase 数据库连接信息 中的信息修改项目文件 python-pymysql/config.py 中的数据库连接信息。...
Dataphin中Python脚本如何使用本地csv文件
概述 本文为您介绍Dataphin中Python脚本如何使用本地的文件。详细信息 1.在dataphin中先通过资源管理模块上传本地文件。2.点击上传文件的详细信息，复制引用路径。3.在Python脚本中声明该文件，即可引用。适用于 Dataphin
生命周期管理FAQ
重新配置生命周期管理策略后，该策略通过检查机制跳过目录下已经被转储到低频存储或归档存储中的文件，确保不会重复转储。文件存储在低频存储或归档存储中可以正常读写吗？一个文件系统内的低频存储或归档存储中的文件和其他普通文件一样...
- 产品推荐
- 这些文档可能帮助您