PySpark开发示例
打包方式如下，请根据业务的复杂度进行选择：不打包直接采用公共资源 默认提供Python 2.7.13环境配置 spark.hadoop.odps.cupid.resources=public.python-2.7.13-ucs4.tar.gz spark.pyspark.python=./public.python-2.7.13-ucs4.tar.gz/...
缺失值填充训练
组件实现缺失值填充功能，填充策略支持最大值、最小值、均值和指定数值四种。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 数据缺失值模型训练，缺失值填充支持4种策略，最大值、最小值、均值、指定数值。当策略为指定数值时，...
缺失值处理
功能说明 缺失值处理组件支持对缺失的数据进行填充或剔除，数据集出现缺失值可能会导致后续的建模异常，可以在数据处理阶段对缺失值进行填充或剔除。支持的填充方法有：前值，后值，均值，和指定值。计算逻辑原理 前值：将缺失值按照前面...
动画控制器
进度 让对象移动到进度值的位置，进度值取值【0,1】播放动画 单击 播放动画，播放当前对象的曲线动画。暂停动画 单击 暂停动画，暂停当前对象的曲线动画。重置动画 单击 重置动画，重置当前对象的曲线动画。动画设计 使用场景 动画控制器是...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
Python SDK常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
Grouping Sets
那么另一个问题随之而来，当我们在无效值的位置上填上了默认值（或者null值，后面叙述中默认值包含null值的含义）的时候，在这个结果集上如何将其和原始数据集中就有的值区分开呢，比如如果我们的数据集中就有一个品牌是""（空字符串），...
Grouping Sets(>=3.7.5)
那么另一个问题随之而来，当我们在无效值的位置上填上了默认值（或者null值，后面叙述中默认值包含null值的含义）的时候，在这个结果集上如何将其和原始数据集中就有的值区分开呢，比如如果我们的数据集中就有一个品牌是""（空字符串），...
PyODPS常见问题
x,df.from_y,df.to_x,df.to_y).rename('distance')distance 0 0.392670 1 0.625334 2 0.193841 3 0.658966 4 0.131577 5 0.537088 6 0.114198 7 0.575175 8 0.702558 9 0.132617 利用Python语言的条件和循环语句。如果用户要计算的表保存在...
PAI-TF数据转换方法
csv_id2sparse([“2,10”,“7”,“0,8”],20)返回结果：SparseTensor(indices=[[0,2],[0,10],[1,7],[2,0],[2,8]],values=[2,10,7,0,8],dense_shape=[3,20])trans_csv_kv2dense Python接口 将以Key/Value形式标记有效位置和值的CSV字符串...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
使用自定义函数及Python第三方库
本文为您介绍如何使用自定义函数及Python第三方库。使用自定义函数 DataFrame函数支持对Sequence使用 map，它会对它的每个元素调用自定义函数。iris.sepallength.map(lambda x:x+1).head(5)sepallength 0 6.1 1 5.9 2 5.7 3 5.6 4 6.0 说明...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
表达式函数概览
op_not 使用逻辑运算not，对任意类型值进行真假判断，返回参数值的反义布尔值。op_or 使用逻辑运算or，对任意类型值进行真假判断。当任意参数值为真时返回True，所有参数值为假时返回False。op_eq 按照 a=b 条件进行计算，返回True或False...
函数总览
op_not 使用逻辑运算not，对任意类型值进行真假判断，返回参数值的反义布尔值。op_or 使用逻辑运算or，对任意类型值进行真假判断。当任意参数值为真时返回True，所有参数值为假时返回False。op_eq 按照 a=b 条件进行计算，返回True或False...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
求解器SDK下载和安装
安装了单机版安装包后，Python库安装的主要指令是：python<MDOHOME>/<VERSION>/<PLATFORM>/lib/python/setup.py install#1.0.0 及后续版本需要额外安装 numpy 和 scipy 依赖 pip install numpy scipy 如在Windows系统：python%MINDOPT_HOME...
实例内第三方软件安装与配置问题
bind-address=0.0.0.0 添加位置如下图所示。添加完成后，按 Esc 键退出编辑模式，并输入:wq 后按 Enter 键，保存退出文件。执行以下命令，重启MySQL服务，确认MySQL的3306端口监听恢复正常。etc/init.d/mysqld restart 上传文件失败问题 ...
快速入门（开通和使用）
Linux或macOS系统 python$MINDOPT_HOME/examples/python/read_mps.py-filename$MINDOPT_HOME/examples/data/afiro.mps 2.Windows系统 python"%MINDOPT_HOME%\examples\python\read_mps.py"-filename"%MINDOPT_HOME%\examples\data\afiro....
安装cloud-init
CentOS/Red Hat Enterprise Linux：sudo yum-y install python3-pip Ubuntu/Debian：sudo apt-get-y install python3-pip OpenSUSE/SUSE：sudo zypper-n install python3-pip 运行以下命令下载阿里云版cloud-init。wget ...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
列运算
NULL相关（isnull，notnull，fillna）DataFrame API提供了几个和NULL相关的内置函数，例如 isnull 用于判断某字段是否为NULL，notnull 用于判断某字段是否为非NULL，fillna 用于将NULL填充为您指定的值。iris.sepallength.isnull().head(5)...
配置官方公共层
DataX Python 2.7 Python 3 Python 3.6 Python 3.9 Custom Custom.Debian10 阿里云DataWorks数据集成的开源版本 README.md Python39-Aliyun-SDK Python 3.9 Custom 阿里云常用SDK（Python3.9）README.md Python36-Aliyun-SDK Python 3.6 ...
在Windows搭建Python开发环境
打开PyCharm，单击New Project，创建一个新项目用于管理使用Python语言的软件应用或工具。在New Project窗口填写项目信息。Name：项目名称，例如pythonProject。Location：项目文件的保存位置，方便您管理项目文件。说明 Create Git ...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
使用限制
新加坡、澳大利亚（悉尼）、马来西亚（吉隆坡）、印度尼西亚（雅加达）、日本（东京）、德国（法兰克福）、美国（硅谷）、美国（弗吉尼亚）、英国（伦敦）、印度（孟买）、阿联酋（迪拜）500 重要 以上CU上限值仅代表可获取的最大值，并非...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。说明 从Python SDK 5....
使用Python开发自定义Processor
使用Python开发自定义Processor的流程如下：步骤一：构建开发环境 EAS 提供的Python SDK支持多种Python机器学习框架，并能够集成Pandas等数据分析处理框架。通过本文给出的方式，您可以在本地构建Python开发环境，以便后续开发自定义...
镜像管理概述
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，同时支持上传自定义镜像，您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有...
函数概览
本文列举的函数与运算符可以被用在 SLS 的 SQL 或 SPL 两种语言中。函数与运算符 说明 您可以根据具体使用的功能、语言，在本文中查看具体的函数、运算符用法。下表中，√表示支持，×表示不支持。SQL 是一种广泛使用的查询、分析语言，...
案例：构建文本语义检索系统
创建新的Python虚拟环境，指定Python版本为python3.8。conda create-n adbpg_text_env python=3.8#激活Python虚拟环境。conda activate adbpg_text_env#在虚拟环境中安装必要的Python包。pip install psycopg2=2.9.3 pip install wget=3.2 ...
PyODPS DataFrame的代码运行环境
使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。概述 PyODPS是一个Python包而非...
UDF示例：Python UDF使用第三方包
MaxCompute支持您在Python UDF中引用第三方包，例如Numpy包、需要编译的第三方包或依赖动态链接库的第三方包。本文为您介绍如何通过Python UDF引用第三方包。背景信息 通过Python UDF使用第三方包支持的场景如下：使用Numpy包（Python 3 ...
字段分析
缺失值占比 缺失值总行数/日志总行数。Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所...
Sequence
print(iris.sepalwidth.rename('sepal_width').head(5))返回结果：sepal_width 0 3.0 1 3.2 2 3.1 3 3.6 4 3.9 简单的列变换 您可以对一个Sequence进行运算，返回一个新的Sequence，这种操作类似于对简单的Python变量进行运算。Sequence...
管理服务
UDF数据操作目前支持保证数据条目的值修改和水平字段拓展，暂不支持垂直行拓展。前提条件 创建工作空间，具体操作，请参见 创建工作空间。操作步骤 进入智能标注（iTAG）。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表...
变量和密钥管理
背景信息 作业变量和密钥都由名（称）和值组成，名是用来代替真实数据的名称，由您自定义，通常能够直接反映值的含义，值则是实际要使用而被名称代替展示的值。作业变量：仅支持在对应的单个作业下使用，包括SQL作业的DDL、JAR/Python作业...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
挂载OSS
可写挂载 目录下的结果数据将被先存放在虚拟机的本地，在作业运行结束时会被自动上传到 OSS 的相应位置。使用可写挂载时请确保虚拟机为结果数据分配了足够的磁盘空间。命名限制：合法的文件名仅按照 UTF-8 字符集进行定义，其他字符集需...
- 产品推荐
- 这些文档可能帮助您