函数概述
功能介绍 数据服务支持的函数类型包括Aviator函数、Python函数，您可以在数据服务中 创建函数、测试函数、发布函数，发布后的函数可被进一步关联至API，作为API的过滤器，对API的请求参数或返回结果进行加工处理，从而实现API的复杂查询...
创建DataFrame
如果Pandas DataFrame中包含LIST或DICT列，系统不会推断该列的类型，必须手动使用 as_type 指定类型。as_type 参数类型必须是DICT。示例：示例1：指定 null_col2 列类型为 float。df2=DataFrame(df,unknown_as_string=True,as_type={'null_...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。快速入门：为您介绍如何创建和操作DataFrame对象，以及使用Dataframe完成基本的数据处理。...
概述
对于Pandas自定义函数，输入数据的类型是Pandas中定义的数据结构，例如pandas.Series和pandas.DataFrame等，您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库，开发出高性能的Python自定义函数，详情请参见 Vectorized User...
数据科学计算概述
支持DataFrame API，提供类似Pandas的接口，能充分利用MaxCompute的计算能力进行DataFrame计算（2016～2022年）：PyODPS DataFrame可以让用户使用Python来进行数据操作，因此用户可以很容易利用Python的语言特性。PyODPS DataFrame提供了很...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的性能。请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化...
UDF开发（Python2）
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
创建对象类型
SELF参数是成员存储过程或函数中的第一个参数，无论它是否在参数列表中明确声明。以下代码片段为Emp_obj_typ定义对象类型主体：CREATE OR REPLACE TYPE BODY emp_obj_typ AS MEMBER PROCEDURE display_emp(SELF IN OUT emp_obj_typ)IS ...
Spark SQL、Dataset和DataFrame基础操作
在Scala API中，DataFrame只是Dataset[Row]的类型别名，而在Java API中，您需要使用Dataset来表示数据帧。Spark SQL基础操作 Spark SQL支持直接通过SQL语句操作数据，而Spark会将SQL进行解析、优化并执行。以下示例展示了如何使用Spark SQL...
DROP FUNCTION
PolarDB PostgreSQL版（兼容Oracle）允许重载函数名称，因此在 PolarDB PostgreSQL版（兼容Oracle）中，重载函数的 DROP FUNCTION 命令需要使用输入参数数据类型给定的函数签名。使用 IFEXISTS、CASCADE 或 RESTRICT 与 Oracle 数据库不...
MaxCompute函数管理
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
绘图
本文为您介绍PyODPS DataFrame提供的绘图方法。如果您需要使用绘图功能，请先安装Pandas和Matplotlib。您可以在Jupyter中运行以下示例代码，并使用 pip install matplotlib 命令安装Matplotlib。绘图 单线图>>>from odps.df import ...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
Python 2 UDTF
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
对象类型组成部分
通过使用SPL语言的对象类型规格和对象类型主体，创建对象类型并将其存储在数据库中。对象类型规格：这是指定对象类型的属性和方法特征的公共接口。对象类型主体：这包含对象类型规格中指定的方法的实现。以下各节介绍了用于创建对象类型...
概述
使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不愿意学习PyODPS DataFrame接口的场景。使用索引的场景。创建...
CREATE OPERATOR CLASS
在一个 FUNCTION 子句中，这表示该函数要支持的操作数据类型，如果它与该函数的输入数据类型（对于 B-树比较函数和哈希函数）或者操作符类的数据类型（对于 B-树排序支持函数和与 B-树相同的图像函数以及所有 GiST、SP-GiST、GIN 和 BRIN ...
执行
本文为您介绍DataFrame操作支持的执行方法。前提条件 您需要提前完成以下步骤，用于操作本文中的示例：准备示例表 pyodps_iris，详情请参见 Dataframe数据处理。创建DataFrame，详情请参见 从MaxCompute表创建DataFrame。延迟执行 ...
函数可以相互调用吗？
您可以采用以下方法实现函数间相互调用。通过自定义域名的方式。为函数绑定自定义域名，然后通过固定域名访问函数。具体操作，请参见 配置自定义域名。使用InvokeFunction API调用指定函数。您可以参考各个不同语言的SDK，更多信息，请参见...
ALTER OPERATOR FAMILY
在一个 ADD FUNCTION 子句中指定该函数意图支持的操作数数据类型（如果不同于该函数的输入数据类型）。对于 B-树比较函数和哈希函数，有必要指定 op_type，因为该函数的输入数据类型总是正确的。对于 B 树排序支持功能，B 树相等的图像函数...
系统函数分类
函数分类 数据探索系统函数的类型包含分为以下几种：函数类型 说明 时间函数 处理日期、时间类型数据，实现加减日期、提取日期字段、获取当前时间、转换日期格式等业务处理能力。字符串函数 处理字符串类型数据，实现截取字符串、替换字符...
Sequence
print(iris['sepallength'].head(5))返回结果 sepallength 0 4.9 1 4.7 2 4.6 3 5.0 4 5.4 列类型 DataFrame拥有自己的类型系统，进行表初始化时，MaxCompute的类型会被转换成对应的DataFrame类型，以便支持更多类型的计算后端。...
Python SDK常见问题
设置options.tunnel.use_instance_tunnel=False，为什么字段在MaxCompute中定义为DATETIME类型，使用SELECT语句得到的数据为STRING类型？如何利用Python语言特性来实现丰富的功能？如何使用Pandas计算后端进行本地Debug？如何避免嵌套循环...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
PyODPS常见问题
设置options.tunnel.use_instance_tunnel=False，为什么字段在MaxCompute中定义为DATETIME类型，使用SELECT语句得到的数据为STRING类型？如何利用Python语言特性来实现丰富的功能？如何使用Pandas计算后端进行本地Debug？如何避免嵌套循环...
Python 3 UDTF读取MaxCompute资源示例
本文为您介绍基于MaxCompute客户端通过Python 3 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作，请参见 安装并配置MaxCompute客户端。UDTF的动态参数说明 Python UDTF函数签名格式请...
JSON与XML解析库
请求参数 参数 必选 类型 说明 handler 是 uint 处理JSON字符串函数返回的标识符 path 是 string 要设置的数据的路径 data 是 int 要设置的数据的值 返回值 参数 必选 类型 说明 result 是 bool 方法返回值，成功为 true，否则为 false ...
创建Python函数
背景信息 您可以在数据服务中创建函数、测试函数、发布函数，发布后的函数可被进一步关联至API，作为API的过滤器，对API的请求参数或返回结果进行加工处理，从而实现API的复杂查询需求，灵活适配各类业务场景。使用限制 您需要购买...
类型转换函数
如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹...
操作流程
通过操作流程图及说明，您可以直观且全局了解自定义函数和数据基础库的操作流程。本文介绍自定义函数和数据基础库的操作流程。自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用...
操作流程
通过操作流程图及说明，您可以直观且全局了解自定义函数和数据基础库的操作流程。本文介绍自定义函数和数据基础库的操作流程。自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用...
FILTER
用于对 a 中元素进行过滤的函数（内置函数或自定义函数）或表达式，其输入参数类型必须与 a 中元素的数据类型一致，其输出结果数据类型为BOOLEAN。返回值说明 返回ARRAY类型。使用示例-返回[2,3]。select filter(array(1,2,3),x->x>1);说明...
Python 3 UDAF
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
Python SDK示例：DataFrame
本文为您介绍Python SDK中DataFrame相关的典型场景操作示例。DataFrame PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。完整的DataFrame文档请参见 DataFrame。假设已经存在三张表，分别是 ...
ARRAY_REDUCE
相关函数 ARRAY_REDUCE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。ARRAY_REDUCE函数使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。
转换函数
nlsparam 可选参数，此函数中可以指定的唯一有效nlsparam是NLS_NUMERIC_CHARACTERS，采用以下形式：NLS_NUMERIC_HARACTERS=“dg”，其中d和g分别表示十进制字符和组分隔符。两个字符都不能是空格。返回类型 返回 INTERVAL DAY TO SECOND ...
创建Aviator函数
当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致，即：均选择Aviator函数类型或Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。注意事项 基于安全和性能等因素的评估，Aviator函数...
使用函数作为API过滤器
前提条件 创建Aviator函数 创建Python函数 背景信息 您可以在数据服务中创建函数、测试函数、发布函数，发布后的函数可被进一步关联至API，作为API的过滤器，对API的请求参数或返回结果进行加工处理，从而实现API的复杂查询需求，灵活适配...
访问数据库
本文介绍函数计算访问VPC内数据库的机制，并提供访问数据库的示例。访问机制 在函数计算中，运行函数的实例由函数计算动态分配，IP地址不固定，因此无法通过添加函数实例的IP地址到数据库白名单的方式来访问数据库。此外，基于最小权限原则...
- 产品推荐
- 这些文档可能帮助您