断点续传下载
实现方法 您可以通过 Bucket#resumable_download 方法来实现断点续传下载。该方法包含以下参数：参数 描述 是否必选 默认值 key OSS文件完整路径。说明 如果待下载的文件ETag值发生变化，会导致下载失败。是 无 file 下载到本地文件的完整...
PySpark开发示例
上述配置项的值为Python包所在路径，您可以选择使用自行下载的Python包或者直接采用公共资源。提交运行。mc_pyspark-0.1.0-py3-none-any.zip为通用业务逻辑代码 spark-submit-py-files mc_pyspark-0.1.0-py3-none-any.zip spark-test.py ...
导出开源引擎任务
使用导出工具，在内存中通过Airflow的Python库读取Dag Python文件的内部任务信息及其依赖关系，将生成的Dag信息写入JSON文件进行导出。您可进入DataWorks的 迁移助手>任务上云>调度引擎作业导出 页面，下载导出工具。进入 调度引擎作业导出...
数据组织优化
解决方案 Clustering服务主要由MaxCompute内部的Storage Service来负责执行，专门解决小文件合并的问题，但它并不会改变任何数据的历史中间状态，即不会消除任何一条记录数据的中间历史状态。Clustering服务流程 Clustering服务的整体操作...
文件存储NAS SMB ACL概述
基本规则如下：文件夹默认mode和uid、gid（755）drwxr-xr-x 1 cat Domain Users 0 Jul 25 06:18 dir 文件的默认mode和uid、gid（644）-rw-r-r-1 cat Domain Users 0 Jul 25 06:42 file 文件的mode值可以为644或者444。如果是444，则文件...
作业配置指南
file Python/Java/Scala应用必填"file":"oss:/bucket/path/to/your/jar"Spark任务主文件的存储位置，可以是入口类所在的JAR包或者Python的入口执行文件。说明 Spark任务主文件目前只支持存储在OSS中。className Java/Scala应用必填...
断点调试
Current File","type":"python","request":"launch","program":"${workspaceFolder}/a.py",}]} 其中，program为python文件的入口，可自由设置其他调试配置，可参考 vscode调试文档 2.调试 进入调试模式即可 说明 断点调试支持Nodejs与...
通过NAT网关实现本地数据中心访问阿里云NAS
配置NAT网关 通过以下配置，可在任何一台连接公网的PC上（Windows或Linux系统）挂载NAS，实现文件的上传和下载。登录 专有网络控制台。创建NAT网关。具体操作，请参见 创建和管理公网NAT网关实例。说明 必须与NAS选择同一VPC。为NAT网关...
PythonArtifact
string Python lib 文件的 URL 路径。https://oss/bucket/additionlib.py additionalPythonArchives array 依赖的 Python archives 文件。string Python archive 文件的 URL 路径。https://oss/bucket/additionArchives.zip
Python库管理
文件路径 选择待加载的Python Egg或Python Whl的文件。单击 确定。库 页面展示所有用户在所有集群上使用过的库信息。查看库详情 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）...
创建文件系统
当您想实现文件系统的共享访问时，您可以创建通用型NAS或极速型NAS文件系统，然后在多个计算节点中挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点中挂载使用。同时，也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...
使用Python操作OSS时出现“No module named oss2”...
解决方案 以Linux系统为例，在脚本文件的环境中，执行以下命令，安装python-devel开发包。sudo yum install-y python-devel 依次执行以下命令，安装oss2模块。sudo yum install-y epel-release sudo yum install-y python-pip pip install ...
Flink Python作业快速入门
说明 在Python作业中使用其他依赖（例如自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等）的方法请参见 使用Python依赖。步骤三：创建作业 流作业 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在 作业运维 ...
评审文件白名单
在规范的情况下，合并请求必须至少有一个评审人，但是有时候只是提交几个不敏感的文件，需要人工介入评审的必要性不大，希望能够针对这类文件直接支持合并，提高工作效率。代码工程中大部分文件需要走评审卡点，小部分不重要的文件改动没...
功能特性
基本概念 POSIX协议 Linux操作系统用来访问文件的一套标准接口，可在应用程序中使用编程语言调用，实现对文件的各种操作。基本概念 客户端 加速客户端 阿里云NAS提供的加速客户端为应用提供了接近本地文件系统的小文件操作性能和计算端分布...
Compaction（Beta）
当离线导入大量数据或大量执行 delete、update 操作后，可能会由于数据文件的碎片化导致读写性能下降，此时需要执行压缩（Compaction）操作。Compaction操作将多个数据文件合并成一个更大的数据文件，执行Compaction操作有助于重新组织数据...
创建文件系统
可通过POSIX协议 或NFS协议 在多个计算节点（ECS、容器、云桌面、PAI）中实现文件系统的共享访问。本文介绍如何 创建CPFS文件系统或 创建CPFS智算版文件系统。前提条件 已开通文件存储CPFS服务。首次登录 NAS控制台 时，根据页面提示开通...
安装
说明 OSS Python SDK需要crcmod计算CRC校验码，而crcmod依赖python-devel包中的Python.h文件。如果系统缺少Python.h文件，虽然之后安装OSS Python SDK不会失败，但crcmod的C扩展模式安装会失败。如果crcmod的C扩展模式安装失败，在上传、...
开发指南
} 写文件 通过调用FileSystem实例的create方法获取写文件的输出流。通常获得输出流之后，可以直接对这个输出流进行写入操作，将内容写入HDFS的指定文件中。写完文件后，需要调用close方法关闭输出流。写文件代码样例如下。创建文件，写文件...
UDF示例：引用文件资源
file.DistCacheExample 中，file 表示file.py脚本文件的名称，DistCacheExample 为file.py脚本文件中定义的类。返回结果如下。Success:Function 'file_udf' have been created.更多注册函数信息，请参见 注册函数。3.使用示例 成功注册UDF...
数据归档至专属存储
文件合并功能可实现对单次执行归档的数据文件进行重组排列（例如将两个文件合并为一个文件），合并后可以提升本次归档数据的查询性能。费用说明 该功能免费使用。注意事项 已归档数据文件合并后，会额外增加存储量（已归档数据量的0.5~1倍...
基本概念
无 POSIX接口 Linux操作系统用来访问文件的一套标准接口，可在应用程序中使用编程语言调用，实现对文件的各种操作。Linux应用程序操作本地文件使用的也是POSIX接口，所以将本地文件迁移到NAS文件系统后，无须修改应用程序代码即可直接运行...
API概览
ListMergeRequestFilesReads 查询合并请求变更文件已读情况 查询合并请求变更文件的已读情况，主要获取变更文件的已读人列表。ListMergeRequestComments 查询合并请求评论列表 查询合并请求中的评论列表，不分页。其中，评论仅支持三级结构...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言和Java语言SDK开发包，调用 云原生多模数据库 Lindorm 的GetInstanceIpWhiteList接口（获取实例的访问白名单）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要...
文件存储 HDFS 版支持Python SDK吗？
文件存储 HDFS 版 提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。
如何在Debian 9上安装Python 3.7
cd Python-3.7.3./configure-enable-optimizations-prefix=usr/local/python3 说明：enable-optimizations 选项将通过运行多个测试来优化Python 二进制文件，这将使构建过程变慢。prefix指定Python3安装目录，这样后续安装出错或者调整版本...
SDK示例
通过调用FileSystem实例的open方法获取读文件的输入流，然后使用该输入流读取 文件存储 HDFS 版 的指定文件的内容。读文件代码样例如下。读文件*@param filePath*@return*@throws IOException*/private StringBuffer readFile(final Path ...
CDH6数据迁移
您还可以使用Distcp的-filters 参数在迁移过程中忽略原HDFS上的目录或文件，实现部分文件目录的迁移。sudo-u hdfs hadoop distcp-pugpt hdfs:/oldclusterip:8020/user dfs:/f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/ 其中 f-...
直播录制
剪辑录制索引 剪辑录制索引文件 CreateLiveStreamRecordIndexFiles 录制文件管理方法 查看和管理录制文件：您可以在控制台进行查看和管理录制文件的操作。录制至VOD 在视频直播控制台查看和管理，请参见 录制文件管理。在视频点播控制台...
Python 3 UDTF
实现Python类的方法：必选。Python类实现包含如下4个方法，您可以根据实际需要进行选择。方法定义 描述 BaseUDTF.init()初始化方法。派生类如果需要实现此方法，必须在一开始调用基类的初始化方法 super(BaseUDTF,self).init()。init 方法...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理...低频存储中文件的读写延时比通用性能型NAS、通用高级型NAS和通用容量型NAS高吗？文件转储到低频存储后，怎么收费？执行数据取回任务收费吗？安全服务扫描低频存储中存储或归档存储的文件时，怎么收费？
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
使用在线迁移服务迁移数据
使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标NAS的地址信息，并创建迁移任务即可。迁移任务启动后，...
使用OpenAPI示例（SDK）
本文以Python语言为例，为您介绍如何使用OpenAPI查询数据库文件系统列表的完整示例。查看OpenAPI文档 通过阅读 API概览 得知，查询数据库文件系统列表的OpenAPI为 ListDbfs。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM...
ListMergeRequestFilesReads-查询合并请求变更文件已...
查询合并请求变更文件的已读情况，主要获取变更文件的已读人列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出...
Python 2 UDTF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
Delta Lake参数
本文介绍一些Delta中比较重要的参数。Delta的设置参数分为三类：Spark SQL设置，即设置SQL运行时的参数。运行时参数，即可以在Session中动态设置的参数，以 spark....如果设置不当，影响Vacuum扫描文件的效率。说明 此参数为Spark SQL参数。
如何在合并时支持忽略部分文件不合入？
由于 Git 配置文件非常灵活，目前服务端不支持在合并时忽略部分文件不合入。但是在本地合并时支持设置忽略合并的文件，具体操作建议如下。若有页面评审的需求，可在页面创建合并请求，利用平台能力完成自动化/人工评审，注意完成后不要通过...
- 产品推荐
- 这些文档可能帮助您