Flink Python参考
使用JAR包 如果您的Flink Python作业中使用了Java类，例如作业中使用了Connector或者Java自定义函数时，则需要指定Connector或者Java自定义函数所在的JAR包，详情请参见 JAR Dependencies。使用数据文件 如果您的Flink Python作业中需要...
创建PYTHON计算任务
若您需要在Python中引入上传的资源文件。请参见 上传资源及引用。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务）、运行配置。...
创建PYTHON计算任务
若您需要在Python中引入上传的资源文件。请参见 上传资源及引用。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置。...
中文和时间
本文介绍使用Python SDK时所用到的中文和时间知识。中文 在Python代码中如果使用了中文字符，运行时会出错。因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
链路追踪
在Python语言的代码中，您可以通过OpenTelemetry SDK手动埋点将数据上报到链路追踪服务端。完整的示例代码，请参见 python-tracing-openTelemetry。示例代码解析如下。在工程目录中配置依赖文件 requirements.txt。opentelemetry-api=1.12....
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
创建自定义层
各运行时构建层ZIP包的操作步骤如下所示：说明 在本地构建层时，使用的编程语言版本需要和在函数计算选择的运行时的编程语言版本保持一致。下面创建的工作目录 my-layer-code 仅为示例，您在实际操作过程中可以按需替换目录名称。Python ...
如何在Custom Runtime中引用层中的依赖
例如，java-classpath${CLASSPATH}-jar yourJarExe.jar 示例中，使用-jar 参数时，Java JVM会使用JAR包内的MANIFEST.MF，所有环境变量和命令行指定的搜索路径都会被忽略，因此指定的 CLASSPATH 不会生效。在Custom Runtime-PHP语言中引用层...
如何在Custom Runtime中引用层中的依赖
例如，java-classpath${CLASSPATH}-jar yourJarExe.jar 示例中，使用-jar 参数时，Java JVM会使用JAR包内的MANIFEST.MF，所有环境变量和命令行指定的搜索路径都会被忽略，因此指定的 CLASSPATH 不会生效。在Custom Runtime-PHP语言中引用层...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
PySpark
执行主程序文件 和Scala、Java程序开发的JAR包一样，您需要将 example.py 文件上传到OSS中，并在Spark的启动配置中使用 file 来指定这个文件为启动文件。在DLA控制台的 Serverless->作业管理 页面，使用如下示例代码配置作业。{"name":...
Dataphin中python脚本导入odps包后使用报错"name '...
问题原因 用户使用的Dataphin是2.9.1版本，此版本使用odps包时需要先手工添加odps的AK信息去获取实例，不能直接使用。解决方案 如果使用的是Dataphin2.9.1及以下版本，需要使用原生的pyodps，且需要先添加AK信息去获取实例，再调用使用odps...
基于HBase非Java API的应用开发
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问 云原生多模数据库 Lindorm 宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
创建Python函数
当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致。即：均选择Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。Python函数作为过滤器的使用限制如下：过滤器仅支持Python 3.0的语法。...
安装和配置
PAI Python SDK 是PAI提供的Python SDK，提供了更易用的HighLevel API，支持机器学习工程师简单地使用Python在PAI完成模型训练和部署，串联机器学习的流程。前提条件 已获取阿里云账号的鉴权AccessKey ID和AccessKey Secret，详情请参见：...
SDK概览
常见问题 使用SDK时可能遇到的问题，请参见 SDK常见问题。使用示例 Java SDK使用示例：Java SDK使用示例。Python SDK使用示例：Python SDK使用示例。更多语言SDK使用示例：API文档提供了调试功能（需登录后使用），在任意API文档中选择调试...
函数概述
注意事项 当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致，即均选择Aviator函数类型或Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。基于安全和性能等因素的评估，Aviator函数需要...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
使用函数作为API过滤器
使用限制 当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致。即：均选择Aviator函数类型或Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。Python函数正在改造中，暂不支持新建、克隆和...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
有关Object命令
使用示范：python osscmd ls oss:/mybucket/folder1/folder2 python osscmd ls oss:/mybucket/folder1/folder2 marker1 python osscmd ls oss:/mybucket/folder1/folder2 marker1/python osscmd ls oss:/mybucket/python osscmd list oss:/...
简介
Python语言：我们用Python语言进行消费。Java 语言用法，请参考 通过消费组消费数据。Python SDK 推荐使用标准CPython解释器。日志服务的Python SDK可以使用 python3-m pip install aliyun-log-python-sdk-U 命令进行安装。更多日志服务...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
过滤器
在GetRow、BatchGetRow和GetRange接口中使用过滤器不会改变接口的原生语义和限制项。使用GetRange接口时，一次扫描数据的行数不能超过5000行或者数据大小不能超过4 MB。当在该次扫描的5000行或者4 MB数据中没有满足过滤器条件的数据时，...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过HBase非Java SDK访问Lindorm宽表引擎
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问云原生多模数据库Lindorm宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
Dataphin中使用Python脚本任务报错“Exception:...
问题描述 Dataphin中使用Python脚本任务报错“Exception:Dataphin odps client auth failed,not allow to operate project XXX”。问题原因 使用Dataphin PyODPS时，不支持跨Dataphin项目访问存储在MaxCompute的数据对象。例如，当前Python...
Dataphin 如何创建python自定义UDF函数
问题描述 用户在使用过程中，需要创建UDF函数，但是上传之后，总是报错。问题原因 1.python脚本格式问题。2.上传之后命名出现问题。解决方案 1.python没有换行符，所以需要用制表符对代码进行对其。如下图，循环或者条件判断需要对其位置。...
自定义表值函数（UDTF）
使用限制 由于Flink全托管产品受部署环境和网络环境等因素的影响，所以开发Python自定义函数时，需要注意以下限制：仅支持开源Flink V1.12及以上版本。Flink全托管集群上已预装了Python 3.7.9，因此需要您在Python 3.7.9版本开发代码。...
自定义聚合函数（UDAF）
使用限制 由于Flink全托管产品受部署环境和网络环境等因素的影响，所以开发Python自定义函数时，需要注意以下限制：仅支持开源Flink V1.12及以上版本。Flink全托管集群上已预装了Python 3.7.9，因此需要您在Python 3.7.9版本开发代码。...
Python 3 UDTF
当UDTF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 from odps.distcache import get_cache_table（表资源）。函数签名：可选。格式为@annotate()，signature 用于定义函数的输入...
使用Python操作OSS时出现“No module named oss2”...
问题描述 使用Python上传或下载OSS的资源时，会调用oss2模块，在运行Python脚本文件后出现“No module named oss2”报错。问题原因 系统环境中没有安装OSS的Python SDK和oss2模块。解决方案 以Linux系统为例，在脚本文件的环境中，执行以下...
OSS SDK使用中常见问题的解决方法
Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 OSS Java SDK的常见错误 Python 对象存储OSS使用Python语言实现签名Header上传的示例 使用Python操作OSS时出现“No module named oss2”报错 OSS Python SDK常见错误 ...
Python SDK使用示例
本文介绍如何在阿里云OpenAPI开发者门户调用API获取并使用Python SDK示例代码。前提条件 已下载并安装 Python 3。已下载Python代码编辑器。本文以 PyCharm 为例。已获取访问密钥AccessKey。在调用阿里云API时您需要使用AccessKey完成身份...
- 产品推荐
- 这些文档可能帮助您