UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
Python 3 UDTF
Python 2 UDTF迁移 Python 2官方即将停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDTF的MaxCompute项目。建议所有的Python UDTF都直接使用Python 3语言编写。存量项目：创建了大量...
Python 3 UDAF
Python 2 UDAF迁移 Python 2官方即将停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDAF的MaxCompute项目。建议所有的Python UDAF都直接使用Python 3语言编写。存量项目：创建了大量...
编写Android测试脚本
步骤一、创建Capabilities文件 使用Python语言编写Capabilities文件，用于执行测试脚本时指定所需的测试环境。放在项目根目录下（/desired_capabilities.py），文件命名为 desired_capabilities.py。说明 desired_capabilities.py 仅用于...
编写iOS测试脚本
配置环境 本文以iOS 10为例进行说明，相应环境要求如下：macOS 10.11.5及以上 Xcode 8.0及以上 Appium 1.6.0及以上 创建Capabilities文件 使用Python语言编写Capabilities文件，指定执行测试脚本所需测试环境，文件命名为 desired_...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。...在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
使用Nginx+uWSGI部署Django项目
Django是一个开源的Web应用框架，使用Python语言编写，主要用于搭建Web项目。本教程介绍如何在Linux服务器中使用Nginx+uWSGI部署Django项目。准备工作 创建部署Django项目的ECS实例，ECS实例必须满足以下条件：实例已分配公网IP地址或绑定...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
决策树
功能说明 决策树是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。一棵树可以看作是分段常数近似。决策树组件支持使用决策树算法对分类或回归问题进行建模。...
随机森林
随机森林是一个包括多决策树的分类器，其分类结果由单棵树输出类别的众数决定。组件配置 您可以使用以下任意一种方式，配置随机森林组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 选择特征列...
组件参考：所有组件汇总
随机森林 该组件是一个包括多决策树的分类器，其分类结果由单棵树输出类别的众数决定。朴素贝叶斯 该组件是一种基于独立假设的贝叶斯定理的概率分类算法。K均值聚类 该组件会首先随机选择K个对象作为每个簇的初始聚类中心，然后计算剩余...
创建安全联邦学习任务（任务模式）
参数 描述 算法分类 支持的算法分类为FL决策树、FL线性回归、FL逻辑回归、FL深度学习。FL决策树支持的算法为 XGBoostWithDp:Decision_Tree，用于二分类、多分类、回归。FL线性回归支持的算法为 LinearRegressionWithHe:Linear_Regression_...
诊断决策树
您可以通过诊断决策树，编排故障排查的过程。对于已知的明确故障，可以根据诊断现象，编排诊断决策树，进而故障发生时执行，完成故障定位。对于未知的故障，您可以依据运维经验，编排出常见的排查路径，辅助快速故障定位。新建诊断决策树 ...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Python 2 UDAF
本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
诊断报告
执行诊断决策树时，系统会生成对应的诊断报告，记录诊断的执行信息。你可以在 诊断报告 页面查看所有诊断决策树的执行记录，包括诊断决策树名称、触发方式、诊断状态、创建时间、状态概要、结果概要以及诊断结果。在左侧导航栏上，单击 ...
UDF开发（Python2）
本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
Python 2 UDTF
本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
在函数中配置官方公共层
还包括一些自定义语言运行时的依赖库集合，例如，公共层 Python310-Package-Collection 包含Python常用的一些依赖库。公共层名称 兼容的运行时 说明 使用前必读 Python310 Custom Custom.Debian10 Python 3.10.5运行时层 README.md Python...
在函数中配置官方公共层
还包括一些自定义语言运行时的依赖库集合，例如，公共层 Python310-Package-Collection 包含Python常用的一些依赖库。公共层名称 兼容的运行时 说明 使用前必读 Python310 Custom Custom.Debian10 Python 3.10.5运行时层 README.md Python...
Python SDK常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
PyODPS常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
梯度提升决策树
功能说明 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算法，由多棵决策树组成，是进行多分类的算法模型。梯度提升采用连续的方式构造树，每棵树都试图纠正前一棵树的错误。默认情况下，梯度提升决策树中没有随机化，而是...
XGBOOST回归
一、组件说明 XGBoost是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的机器学习算法。它通过改进传统梯度提升决策树的方式，加入正则化项、特征子采样和并行化等优化技术。XGBoost的优点是能够自动处理缺失值、异常值和噪声...
快速入门
步骤四：编写Airflow Python脚本 Airflow的调度需要手动编写Python脚本来构建DAG，EMR Studio自动将指定OSS路径内的Python脚本同步至Airflow DAGs，因此，您可以在编辑和上传完DAG脚本之后，进入数据开发工作台，在左侧导航栏中，单击 ...
缓存数据持久化
本文示例使用的开发语言为Python，请提前在云服务器ECS中安装 Python 3、pip 3、pymysql 和 python-memcached。pymysql 和 python-memcached 安装命令如下：sudo pip3 install pymysql sudo pip3 install python-memcached 已将VPC网段加入...
GBDT二分类V2
梯度提升决策树(Gradient Boosting Decision Trees)二分类，是经典的基于梯度提升（Gradient Boosting）的有监督学习模型，可以用来解决二分类问题。支持计算资源 支持的计算引擎为MaxCompute。算法简介 梯度提升决策树(Gradient Boosting ...
模型可视化
决策树 系统展示Top10个重要树信息，单击决策树对应编号，可以查看决策树信息详情。树上的每个非叶子节点，代表的是当前决策需要用到的特征。每个树顶端的节点是这个树决策的第一个特征，根据该特征的取值不同分支向左（不高于阈值）或向右...
随机森林
计算逻辑原理 随机森林就是种了很多决策树，对输入向量进行分类（回归）。每一棵树都是决策树，要对这个输入向量进行“投票”。森林就是选择投票最多的那个树。应用举例：如下图 参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 ...
多语言SDK访问（公网&内网）
usr/bin/env python#-*-coding:UTF-8-*-import logging import sys from cassandra.cluster import Cluster from cassandra.auth import PlainTextAuthProvider logging.basicConfig(stream=sys.stdout,level=logging.INFO)cluster=Cluster...
GBDT二分类预测V2
GBDT二分类预测V2组件提供了针对GBDT二分类V2组件的预测功能，使用梯度提升决策树(Gradient Boosting Decision Trees)算法，对数据进行二分类问题的预测。本文介绍GBDT二分类预测V2组件的配置方法。支持计算资源 支持的计算引擎为...
- 产品推荐
- 这些文档可能帮助您