线性回归
在模型训练过程中，采用最小二乘法（least squares）估计模型参数，即最小化输出结果与预测值之间的误差平方和。线性回归模型具有简单、易于理解和解释的特点，同时可以通过多项式扩展等方法处理非线性数据，具有较高的泛化能力和预测准确...
介绍
云速搭CADT主要以阿里云控制台作为访问和操作入口，针对部分需要通过API进行批量操作和实现运...CADT命令行工具是在OpenAPI的基础之上，基于Python语言实现的命令行交互式工具，作为用户对接CADT的一个样例。本文将详细讲述此工具的使用说明。
Python 2 UDAF
from odps.udf import BaseUDAF 为Python UDAF的基类，您需要通过此类在派生类中实现 iterate、merge、terminate 等方法。当UDAF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 ...
Python 2 UDTF
from odps.udf import BaseUDTF 为Python UDTF的基类，您需要通过此类在派生类中实现 process 或 close 等方法。当UDTF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 from odps....
UDF开发（Python2）
Python标准库中涉及到上述功能的模块或C扩展模块都会被禁止使用。具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
梯度提升回归树算法（GBRT）
huber：最小二乘法和最小一乘法结合使用。max_depth 树的最大深度。默认值为7。说明 如果设置为-1，则表示不对树的深度做限制。但为防止过拟合，建议合理设置该值。random_state 随机状态。通常为正整数，默认值为1。示例 模型创建与模型离...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
Python作业开发
作业调试 您可以在Python自定义函数的代码实现中，通过logging的方式，输出日志信息，方便后期问题定位，示例如下。udf(result_type=DataTypes.BIGINT())def add(i,j):logging.info("hello world")return i+j 日志输出后，您可以在...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
Python 3 UDTF
from odps.udf import BaseUDTF 为Python UDTF的基类，您需要通过此类在派生类中实现 process 或 close 等方法。当UDTF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 from odps....
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
Python应用部署到Kubernetes
点击【免费试用云效提供的集群】来获取一个临时的免费集群，该集群会自动配置到您的企业中，在 5 小时后会失效并从企业中删除。在使用免费集群的弹窗中记得点击【点此复制kubeconfig】，并进行本地配置，否则将无法从本地访问集群。关闭弹...
Python 3 UDAF
from odps.udf import BaseUDAF 为Python UDAF的基类，您需要通过此类在派生类中实现 iterate、merge、terminate 等方法。当UDAF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 ...
链路追踪
在Python语言的代码中，您可以通过OpenTelemetry SDK手动埋点将数据上报到链路追踪服务端。完整的示例代码，请参见 python-tracing-openTelemetry。示例代码解析如下。在工程目录中配置依赖文件 requirements.txt。opentelemetry-api=1.12....
如何在Custom Runtime中引用层中的依赖
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
如何在Custom Runtime中引用层中的依赖
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
函数实例生命周期回调
Python语言中关于 initialize 的示例代码如下：@app.route('/initialize',methods=['POST'])def init_invoke():rid=request.headers.get(x-fc-request-id)print("FC Initialize Start RequestId:"+rid)#do your things print("FC ...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
函数实例生命周期回调
Python语言中关于 initialize 的示例代码如下：@app.route('/initialize',methods=['POST'])def init_invoke():rid=request.headers.get(x-fc-request-id)print("FC Initialize Start RequestId:"+rid)#do your things print("FC ...
基于HBase非Java API的应用开发
Thrift在每个语言实现的ThttpClient都有加定制header的函数。以Python语言为例，使用以下语句构造客户端并访问Lindorm宽表引擎。coding:utf-8-*-#以下两个模块通过执行pip install thrift 语句生成 from thrift.protocol import ...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
机器学习
MADlib机器学习模块主要解决以下问题：分类/回归问题：提供一系列算法如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类/回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型来解决回归问题...
OSS SDK使用中常见问题的解决方法
Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 OSS Java SDK的常见错误 Python 对象存储OSS使用Python语言实现签名Header上传的示例 使用Python操作OSS时出现“No module named oss2”报错 OSS Python SDK常见错误 ...
多语言API访问
Thrift在每个语言实现的ThttpClient都有加定制header的函数。以Python语言为例，用以下方法构造客户端和设置连接串/用户名密码。coding:utf-8-*-#以下两个模块可以通过 pip install thrift 安装获得 from thrift.protocol import ...
UDF示例：获取字符串（不含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取不包含分隔符的键值对字符串中指定Key对应的Value值。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_...
简介
Python语言：我们用Python语言进行消费。Java 语言用法，请参考 通过消费组消费数据。Python SDK 推荐使用标准CPython解释器。日志服务的Python SDK可以使用 python3-m pip install aliyun-log-python-sdk-U 命令进行安装。更多日志服务...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
自定义标量函数（UDSF）
Flink Python自定义函数示例中包含了Python UDSF、Python UDAF和Python UDTF的实现。本文以Windows操作系统为例，为您介绍如何进行UDSF开发。下载并解压 python_demo-master 示例到本地。说明 python_demo-master 属于第三方搭建的网站，...
- 产品推荐
- 这些文档可能帮助您