批处理
文件后缀：对路径前缀指定的目录中文件名匹配到特定后缀的文件进行数据处理，多个前缀以半角逗号（,）分隔。样式 选择文件的处理样式。如果没有可以选择的样式，可单击下拉列表中的 添加样式，添加新的样式。输出路径 选择处理后文件的存储...
触发器
文件后缀：对路径前缀指定的目录中文件名匹配到特定后缀的文件进行数据处理，多个前缀以半角逗号（,）分隔。样式 选择文件的处理样式。如果没有可以选择的样式，可单击下拉列表中的 添加样式，添加新的样式。输出路径 选择处理后文件的存储...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
UDF示例：Python UDF使用第三方包
通过Python 3 UDF使用Numpy包的步骤如下：以1.19.2版本为例，在 PyPI 页面的 Download files 区域，单击文件名后缀为 cp37-cp37m-manylinux1_x86_64.whl 的NumPy包进行下载。说明 其它后缀名称的包可能会加载失败。如果您需要选择其他版本...
配置状态码过期时间
类型选择为 文件后缀名，填写说明如下：支持输入一个或多个文件后缀名，多个文件后缀名用半角逗号（,）分隔，例如 jpg,txt。说明 不同记录中配置的文件后缀名类型完全相同，仅有大小写区分时，后面创建的会覆盖掉前面创建的，例如创建jpg,...
配置状态码过期时间
类型选择为 文件后缀名，填写说明如下：支持输入一个或多个文件后缀名，多个文件后缀名用半角逗号（,）分隔，例如 jpg,txt。说明 不同记录中配置的文件后缀名类型完全相同，仅有大小写区分时，后面创建的会覆盖掉前面创建的，例如创建jpg,...
Python 3 UDAF
Python官方即将停止维护Python 2，MaxCompute已支持Python 3，对应版本为CPython-3.7.3。本文为您介绍如何通过Python 3语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDAF代码，代码中需要包含如下...
状态码过期时间
您可以针对静态资源配置指定目录或文件后缀名的状态码过期时间，实现由CDN节点直接响应状态码，减轻源站压力。本文为您介绍如何配置状态码过期时间。适用场景 正常情况下CDN节点成功从源站获取到所请求的资源，即源站响应了2xx状态码时，会...
Python 3 UDTF
Python官方即将停止维护Python 2，MaxCompute已支持Python 3，对应版本为CPython-3.7.3。本文为您介绍如何通过Python 3语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDTF代码，代码中需要包含如下...
文件列举
问题列表：ListFile 支持按照哪些属性排序？...文件名，文件大小，创建时间，更新时间。文件的排序中 文件夹始终在前面，文件在后面。文件的category 是如何识别的？文件的category 是根据文件后缀名以及文件上传时的content-type综合判断的。
XMSSMiner挖矿蠕虫分析
XMSSMiner通过不同方式收集key、host、username、sshport，而后通过循环遍历方式进行横向移动或对外传播，其收集方式如下表所示：类型 文件或命令 说明 获取key id_rsa*遍历/root和/home，最多遍历3层目录.ssh/config 指定路径.ssh/config....
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
UDF示例：获取字符串（含分隔符）Value
Python3 UDF 代码示例 from odps.udf import annotate@annotate("string,string,string,string->string")class ExtractKeyValueWithSplit(object):def evaluate(self,s,split1,split2,keyname):if not s:return None key_split=keyname+...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务逻辑需求。本文为您介绍如何通过Python 3语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDF代码，代码中需要包含如下信息...
宣布阿里云 Python SDK 即将终止 Python 2.7 和 ...
声明内容 从 2024 年 5 月 1 日起，阿里云 Python SDK 将不再继续支持 Python 2.7 运行时和低于版本 Python 3.6 的 Python 3 运行时，也就是正式终止对 Python 2.7 和 Python 3.6 及以下版本的支持。Python 2.7-将于 2024 年 5 月 1 日停止...
性能说明FAQ
原因分析 执行目录遍历操作时，如果此目录同时正在被修改（如创建、删除、重命名文件），目录遍历会由于缓存频繁失效而响应非常慢。对大目录执行目录遍历操作时，目录遍历会由于缓存淘汰而响应非常慢。解决方案 避免目录体量过大，控制单...
TargetURI模板
语法 和python3中字符串的format方法类似，变量以用大括号包围来标识。变量包括公共变量和特定算子的变量，这些变量都是内置的，在默认的命名空间下可以直接引用。变量也可以来自请求中的 Tags 参数，这部分变量都在tags命名空间下。如果...
Python SDK常见问题
不支持Python2.5及以下版本，建议使用PyODPS支持的主流版本，例如Python2.7.6+、Python3.3+以及Python2.6。在Mac上安装PyODPS时，报错Permission Denied，如何解决？您可以使用 sudo pip install pyodps 命令安装PyODPS。在Mac上安装PyODPS...
使用WebIDE打包函数第三方依赖
1.将python目录发布成一个层 zip-ry python.zip python s cli fc3 layer publish-layer-name myPythonLibLayer-code/code/python.zip-compatible-runtime python3.10,python3.9,python3.6,custom,custom.debian10-region ...
PyODPS常见问题
不支持Python2.5及以下版本，建议使用PyODPS支持的主流版本，例如Python2.7.6+、Python3.3+以及Python2.6。在Mac上安装PyODPS时，报错Permission Denied，如何解决？您可以使用 sudo pip install pyodps 命令安装PyODPS。在Mac上安装PyODPS...
缓存配置
文件后缀名：指定文件类型的缓存资源。地址 添加单条目录（支持完整路径）时，须以正斜线（/）开头，例如/directory/aaa。添加多个文件后缀名时，须以英文逗号（,）分隔，例如 JPG,TXT。过期时间 资源对应的缓存时间。过期时间最多设置为3...
使用WebIDE打包函数第三方依赖
1.将python目录发布成一个层 zip-ry python.zip python s cli fc layer publish-layer-name myPythonLibLayer-code/code/python.zip-compatible-runtime python3.10,python3.9,python3.6,custom,custom.debian10-region ...
使用自定义函数及Python第三方库
说明 由于字节码定义的差异，Python 3下使用新语言特性（例如 yield from）时，代码在使用Python 2.7的MaxCompute Worker上执行时会发生错误。因此，建议您在Python 3下使用MapReduce API编写生产作业前，先确认相关代码是否能正常执行。...
Flink Python参考
docker run-it-rm-v$PWD:/build-w/build quay.io/pypa/manylinux2014_x86_64./build.sh 该命令执行完成后，会生成一个名为 venv.zip 的文件，即为Python 3.7的虚拟环境。您也可以修改上述脚本，安装其他版本的Python虚拟环境，或者在虚拟...
日志开启
为方便追查问题，Python SDK提供了日志记录功能，该功能默认处于关闭状态。说明 开启Python SDK日志记录功能需要Python SDK 2.6.x以上版本。背景信息 Python SDK日志记录功能可以收集定位各类OSS操作的日志信息，并以日志文件的形式存储在...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
文件类型判断和处理
Message":"文件类型错误，请检查文件类型-请参考算法API文档，使用算法支持的文件类型"} 文件类型的判断 阿里云视觉智能开放平台能够读取文件并获取真实的文件类型，不是通过文件后缀名进行类型判断，所以通过修改文件后缀名的方式改变...
Python SDK示例：Table
这里是打印分区名 for partition in table.iterate_partitions(spec='dt>20230119'):#遍历 dt>20230119 分区下的二级分区 print(partition.name)#具体的遍历步骤，这里是打印分区名 重要 PyODPS自0.11.3版本开始，支持为 iterate_...
LRU 存储
fromHead 为 YES 时，从头开始遍历，否则对尾开始遍历。(BOOL)objectExistsForKey:(NSString*)key;快速判断某个 key 的对象是否存在，不会影响 LRU。(void)resetCapacity:(NSInteger)capacity;更新容量，如果新容量比原先的小，会删除部分...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
PySpark开发示例
spark.hadoop.odps.cupid.resources=public.python-3.7.9-ucs4.tar.gz spark.pyspark.python=./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3 第三方库列表如下。Package Version-appnope 0.1.0 asn1crypto 0.23.0 ...
Python 2 UDAF
返回值为GENERATOR类型，调用者以遍历方式获取表的内容，每次遍历可得到以数组形式存在的表中的一条记录。具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，...
配置Amazon S3输出组件
保留原有文件追加：写入前不进行任何处理，直接使用配置的Object前缀写入，并使用随机UUID的后缀名来保证文件名不冲突。冲突时报错：如果指定路径出现前缀匹配的Object，直接报错。如Object前缀填写了Dataphin，如果存在Dataphin的Object，...
配置Amazon S3输出组件
保留原有文件追加：写入前不进行任何处理，直接使用配置的Object前缀写入，并使用随机UUID的后缀名来保证文件名不冲突。冲突时报错：如果指定路径出现前缀匹配的Object，直接报错。如Object前缀填写了Dataphin，如果存在Dataphin的Object，...
赋值节点
本示例中新建3个不同语言的赋值节点（Python、ODPS SQL和SHELL），节点名称分别为fuzhi_python、fuzhi_sql、fuzhi_shell。使用赋值节点时，不同赋值语言，其赋值参数（outputs）输出格式存在差异，详情请参见 赋值节点输出格式。此外，您可...
快速入门
本文介绍如何快速使用OSS Python SDK完成常见操作，如创建存储空间（Bucket）、上传文件（Object）、下载文件等。操作视频 观看以下视频快速了解如何快速使用Python SDK。创建存储空间 存储空间是OSS的全局命名空间，相当于数据的容器，...
mysqlclient 连接 OceanBase 数据库
如果未安装，则会输出类似于以下内容的信息：package python3-devel is not installed 此时可以通过以下命令来安装 python3-devel 包：sudo yum install python3-devel 安装完成后，再次运行 rpm-q python3-devel 命令来确认安装是否成功。...
配置缓存过期时间
类型选择 文件后缀名 时，填写规则如下：支持输入一个或多个文件后缀名，多个文件后缀名用半角逗号（,）分隔，例如 jpg,txt。大小写敏感，注意区分大小写。不支持用星号（*）匹配所有的文件类型。过期时间 资源在 CDN 节点的缓存时间，最长...
Parquet格式
oss:/oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 如果未自定义文件后缀，则文件后缀为.snappy.parquet oss:/oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.parquet ...
配置缓存过期时间
当类型选择 文件后缀名 时，填写说明如下：支持输入一个或多个文件后缀名，多个文件后缀名用英文逗号（,）分隔，例如 jpg,txt，大小写敏感，注意区分大小写。支持的静态文件类型如下：图片：GIF、PNG、BMP、JPEG、JPG。页面：HTML、HTM、...
- 产品推荐
- 这些文档可能帮助您