开发ODPS SQL任务
自定义函数（UDF）使用自定义函数时，您需要自行编写函数代码、上传为资源并注册函数，具体操作请参见 创建并使用自定义函数。运行及返回结果 运行结果会直接以电子表格的形式展示。您可以在DataWorks中执行操作，或者在电子表格中打开，也...
开发ODPS SQL任务
自定义函数（UDF）使用自定义函数时，您需要自行编写函数代码、上传为资源并注册函数，具体操作请参见 创建并使用自定义函数。运行及返回结果 运行结果会直接以电子表格的形式展示。您可以在DataWorks中执行操作，或者在电子表格中打开，也...
迁移Function Studio代码至云效服务平台
MaxCompute UDF开发流程 通过DataWorks可视化上传资源 通过DataWorks可视化方式基于资源注册函数 方案二：通过Java或Python代码，在本地IntelliJ IDEA安装MaxCompute Studio插件，开发自定义UDF。本地开发完成后，您可直接将资源、函数上传...
函数操作
您可以使用系统的内建函数或自定义函数（UDF）完成计算。内建函数可直接调用，自定义函数需要您自定义后才可调用。本文为您介绍如何注册、注销及查看自定义函数等常用函数操作。函数操作常用命令如下。类型 功能 角色 操作入口 注册函数 在...
UDF（地理空间）
步骤一：准备本地函数 准备本地函数有如下两种方法：下载源代码后编译为JAR包 获取 地理空间UDF代码 的URL下载链接。打开Git命令行工具，下载2.1.0版本Hive（对应Hadoop版本为2.7.2）下的地理空间UDF代码至本地，命令示例如下。git clone ...
自定义表值函数（UDTF）
UDTF注册 UDTF注册过程，请参见 注册UDF。UDTF使用 在完成UDTF注册后，您就可以使用UDTF，详细的操作步骤如下。Flink SQL作业开发。详情请参见 作业开发。ASI_UDTF_Source表中每行字符串的message字段与字符串aa按照竖线（|）连接之后，...
自定义聚合函数（UDAF）
通过该方式进行函数注册的优点为便于后续开发进行代码复用。UDAF注册过程，请参见 管理自定义函数（UDF）。如果注册完的函数名称为ASI_UDAF$MySum，则在作业中直接使用的代码示例如下。CREATE TEMPORARY TABLE ASI_UDAF_Source(a BIGINT ...
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
自定义聚合函数（UDAF）
UDAF注册 UDAF注册过程，请参见 注册UDF。UDAF使用 在完成注册UDAF后，您就可以使用UDAF，详细的操作步骤如下。Flink SQL作业开发。详情请参见 作业开发。获取ASI_UDAF_Source表中a字段以b字段为权重的值，代码示例如下。CREATE TEMPORARY ...
SETPROJECT
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.hive.compatible Hive兼容模式开关。打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法，例如 inputRecordReader、outputRecordReader 和 Serde。关于兼容数据类型的更多信息...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 上传资源及...
SET
odps.sql.udf.ppr.deterministic 设置是否在自定义函数中开启分区裁剪机制。更多分区裁剪信息请参见 WHERE子句（where_condition）。True：打开。False：关闭。odps.sql.udf.ppr.to.subquery 设置是否开启忽略分区裁剪回填报错问题机制。更...
自定义函数
函数下推 PolarDB-X 通过识别 SQL DATA ACCESS 字段，来判断是否需要将该自定义函数在DN上进行注册，当且仅当 SQL DATA ACCESS 字段为no sql时，该函数会同时在DN上进行注册。在DN上注册后，该函数便具备了在DN上执行的条件，即该自定义...
公告
MaxCompute在使用SQL UDF和外部表场景下，提供了SQL反向访问VPC的设置方法，支持UDF和外部表访问VPC中的服务，这里分别介绍两种场景的设置升级方法。UDF场景 在执行包含UDF的SQL任务时，若您是通过以下参数指定UDF访问的VPC以及对应的IP...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码嵌入SQL脚本。背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译...
SELECT FUNCTION
调用SQL语言定义函数的方式和现有内建函数的调用方式一致。命令格式 select([,.])from;参数说明 function_name：已创建的SQL语言定义函数的名称。column_name：待查询的目标表的列名称。列的数据类型必须与SQL语言定义函数定义的数据类型...
概述
自定义函数注册 全局自定义函数注册方法，请参见 全局自定义函数。作业级自定义函数注册方法，请参见 作业级自定义函数。自定义函数参数传递 您可以在Flink开发控制台配置自定义函数中的参数并在UDF代码中使用。这样，后续可以直接在控制台...
Java UDTF
将创建的UDTF打包为JAR包，上传至MaxCompute项目并注册函数。例如函数名称为 user_udtf。更多打包操作，请参见 操作步骤。在MaxCompute Studio的左侧导航栏，单击 Project Explorer，在目标MaxCompute项目上单击右键，启动MaxCompute客户端...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 创建资源。...
Python 2 UDTF读取MaxCompute资源示例
上传资源和注册函数 完成UDF代码开发和调试之后，将资源上传至MaxCompute并注册函数。通过MaxCompute客户端，将py_udtf_example.py文件、test_json.txt和表table_resource1添加为MaxCompute的资源。更多添加资源信息，请参见 添加资源。...
Java UDAF
将创建的UDAF打包为JAR包，上传至MaxCompute项目并注册函数。例如函数名称为 user_udaf。更多打包操作，请参见 操作步骤。在MaxCompute Studio的左侧导航栏，单击 Project Explorer，在目标MaxCompute项目上单击右键，启动MaxCompute客户端...
Java UDTF读取MaxCompute资源示例
将创建的UDTF打包为JAR包，上传至MaxCompute项目并注册函数。例如函数名称为 my_udtf。更多打包操作，请参见 操作步骤。Extra resources 需要选中 步骤1 中添加的三个资源文件。在MaxCompute Studio的左侧导航栏，单击 Project Explorer，...
UDT概述
} } 进行打包、上传及注册操作（将上面的UDF编译，并打成JAR包，然后上传JAR包，并创建Function。add jar odps-test.jar;create function integer_max_value as 'com.aliyun.odps.test.IntegerMaxValue' using 'odps-test.jar';在SQL中调用...
将表格存储的增量数据转换为全量数据格式
在 注册函数 页面，选择 函数类型 为 其他函数。填写 资源列表 为 步骤一：新建JAR资源 中的资源名称，并根据表类型和模式填写对应的类名。根据表类型不同可以选择的模式不同，单版本表只能选择单版本模式，多版本表可以选择多版本模式V1...
2021年
新说明 MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中注册自定义函数（MaxCompute UDF），并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。可视化管理函数 2021-11-08 补充...
术语表
F Function（函数）MaxCompute提供函数功能，包括内建函数和UDF。更多函数信息，请参见 函数。fuxi（伏羲）伏羲是飞天平台内核中负责资源管理和任务调度的模块，同时也为应用开发提供了一套编程基础框架。MaxCompute的底层任务调度模块为...
创建并管理MaxCompute节点
支持将您的自定义函数通过DataWorks创建为MaxCompute资源并注册为MaxCompute函数，供后续开发MaxCompute任务时直接调用，自定义函数的使用请参见 创建并使用MaxCompute资源、创建并使用自定义函数。支持将本地开发的资源包通过本地上传的...
2019年
新功能 您可以将开源地理空间UDF注册到MaxCompute中，以兼容开源Hive UDF的方式使用地理空间函数。UDF（地理空间）2019-12-19 包年包月新增非预留资源规格。新规格 包年包月发布新规格非预留计算资源，售价为40元/CU/月。包年包月非预留...
函数概述
漏斗数据分析函数 地理空间函数：地理空间函数 JSON函数：JSON函数 数学函数：数学函数 手机号码函数：手机号码函数 事件路径分析函数：事件路径分析函数支持按照事件时间和时间戳得到事件顺序发生的时间序列 SQL分析函数：SQL分析函数 ...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
SQL使用限制
操作限制 Java UDF函数不能为 ABSTRACT 或 STATIC。最多查询分区个数 10000个 数量限制 最多查询分区个数不能超过10000个。SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:...
2023年
TPC-DS性能测试 2023-09-25 新增MapReduce支持SQL运行时执行模式 新说明 MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。...
Python 3 UDTF读取MaxCompute资源示例
更多创建函数信息，请参见 注册函数。命令示例如下。create function my_udtf as 'py_udtf_example.UDTFExample' using 'py_udtf_example.py,test_json.txt,table_resource1';在MaxCompute客户端上执行SQL命令调用新创建的UDTF。命令示例...
内置的安全审计规则
数据库审计规则按照以下攻击场景进行分类：异常操作 应用账号风险操作 运维人员风险操作 数据库探测 数据泄露 拖库攻击 数据库外联 大流量返回 漏洞攻击 缓冲区溢出 存储过程滥用 拒绝服务漏洞 隐通道攻击 SQL注入 SQL注入尝试利用 疑似SQL...
SQL使用限制
操作限制 Java UDF函数不能为 ABSTRACT 或 STATIC。最多查询分区个数 10000个 数量限制 最多查询分区个数不能超过10000个。SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
常见问题
内建函数常见问题 UDF：MaxCompute UDF（Java）常见问题、MaxCompute UDF（Python）常见问题 PyODPS：PyODPS常见问题 MapReduce：MapReduce常见问题 Spark：Spark常见问题 外部表：外部表常见问题 作业运行时长不达预期（作业运行慢），...
分区剪裁合理性评估
本文为您介绍如何评估分区剪裁合理性。背景信息 MaxCompute分区表是指在创建表时指定...自定义函数中使用分区剪裁时，需要修改类或者在SQL语句前设置 set odps.sql.udf.ppr.deterministic=true;详情请参见 WHERE子句过滤（where_condition）。
Flink
Zeppelin的SQL开发环境和Flink自带的SQL-Client类似，但提供了更多的特性，具体内容如下：同时支持Batch SQL和Streaming SQL Zeppelin中同时支持Batch SQL和Streaming SQL，%flink.ssql 用来执行Streaming SQL，%flink.bsql 用来执行Batch ...
- 产品推荐
- 这些文档可能帮助您