2022-09-19版本
本文为您介绍2022年9月19日发布的Flink全托管版本的...修复在多个UDF嵌套运算时，使用中间结果出现NullPointerException报错的问题。修复mysql-cdc chunk分片异常、OOM、初始化数据和增量数据时区不一致的问题。详情请参见 MySQL的CDC源表。
SELECT语法
本文为您介绍 select 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 select 操作前需要具备目标表的读取数据权限（Select）。授权操作请参见 MaxCompute权限。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL...
SELECT语法
本文为您介绍 SELECT 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 SELECT 操作前需要具备目标表的读取数据权限（SELECT）。授权操作请参见 MaxCompute权限。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL...
参数配置
expr_depth_limit 3000 查询嵌套的层次。max_allowed_in_element_num_of_delete 10000 DELETE语句中IN谓词最多允许的元素数量。max_layout_length_per_row 2147483647 单行最大的长度。disable_cluster_feature TRUE 是否禁用逻辑集群功能...
参数配置
expr_depth_limit 3000 查询嵌套的层次。max_allowed_in_element_num_of_delete 10000 DELETE语句中IN谓词最多允许的元素数量。max_layout_length_per_row 2147483647 单行最大的长度。disable_cluster_feature TRUE 是否禁用逻辑集群功能...
6.0版本与7.0版本兼容性注意事项
两层select的嵌套，让内部的字符串无法根据就近原则发现test表中int类型的存在 INSERT INTO test SELECT a FROM(SELECT '1' AS a)t;ERROR:COLUMN"a"IS OF type INTEGER but expression IS OF type text 对于部分函数，如果输入的参数错误，...
功能发布记录
Go SDK统计聚合 2023年06月 功能名称 功能描述 发布时间 发布地域 相关文档 SQL查询支持多元索引嵌套类型和数组类型 使用SQL查询支持查询多元索引嵌套类型和多元索引数组类型的数据。2023-06-14 华东1（杭州）、华东2（上海）、华北2（北京...
Oracle应用迁移至云原生数据仓库 AnalyticDB ...
AnalyticDB PostgreSQL 对Oracle语法有着较好的兼容，本文介绍如何将Oracle应用迁移到 AnalyticDB PostgreSQL。基于ora2pg完成初步转换工作 可以使用开源工具 ora2pg 进行最初的Oracle应用转换。您可以使用ora2pg将Oracle的表DDL，view，...
ViewPlugin
{"ossEndpoint":"","ossAk":"","ossAs":"","ossOwner":"","ossBucket":"","folder":"","expiredTime":""} aftsConf object AFTS 配置 {"expiredTime":1} Convertor string 数组转换 udf null Plugins object 嵌套组件[]Exif object 额外...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
公告
UDF场景 在执行包含UDF的SQL任务时，若您是通过以下参数指定UDF访问的VPC以及对应的IP地址和端口信息。set odps.vpc.id=vpc_name;set odps.vpc.access.ips=ip:port;示例 set odps.vpc.id=vpc-bp1e4p7fey*;set odps.vpc.access.ips=ip:port;...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务逻辑需求...UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取...
UDF开发（Python2）
if self.counter>self.ln-1:return None ret=self.records[self.counter]self.counter+1 return str(ret)UDF开发：通用流程 开发UDF时通常需进行准备工作、编写UDF代码、上传并注册UDF、调用调试UDF这几个步骤。同时MaxCompute支持多种工具...
SELECT
目前只支持CASE WHEN作为一个独立的表达式使用，而不能嵌套于其它表达式或UDF中。如下面表达式暂时不支持：SELECT*FROM s_wmp_package_wave WHERE CASE WHEN warehouse_id=48 THEN warehouse_id WHEN warehouse_id=24 THEN id ELSE buyer_...
SELECT
目前只支持CASE WHEN作为一个独立的表达式使用，而不能嵌套于其它表达式或UDF中。如下面表达式暂时不支持：SELECT*FROM s_wmp_package_wave WHERE CASE WHEN warehouse_id=48 THEN warehouse_id WHEN warehouse_id=24 THEN id ELSE buyer_...
UDF开发（Java）
UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
管理自定义函数（UDF）
注意事项 当RAM用户或RAM角色等其他身份需要进行管理自定义函数（UDF）等相关操作时，请确保其具有目标项目空间的访问权限，详情请参见 项目空间授权。为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
UDF（SQL自定义函数）
定义SQL UDF：创建临时SQL UDF MaxCompute支持通过 function 命令创建SQL UDF，且通过此命令创建的UDF为临时SQL UDF，即创建完成后不会存入MaxCompute的Meta系统，因此无法在MaxCompute的函数列表中查询到此UDF，后续仅支持在当前SQL脚本中...
MaxCompute UDF概述
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
Spark UDF
本文档主要介绍了如何在Spark中管理并使用用户自定义函数UDF（User Define Function）。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB ...
FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
IntelliJ IDEA Java UDF开发最佳实践
本文为您详细介绍如何使用IntelliJ IDEA的插件MaxCompute Studio进行Java UDF开发，实现大写字母转换为小写字母。前提条件 请确认已在IntelliJ IDEA上完成如下准备工作：安装MaxCompute Studio 创建MaxCompute项目连接 创建MaxCompute Java...
动态加载UDF
本文为您介绍阿里云EMR Trino如何动态加载和更新UDF。背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打...
CREATE SQL FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
开发Python UDF
前提条件 您必须完成以下操作：管理项目连接 配置Python开发环境 开发Python UDF 在 Project 区域 MaxCompute Studio 目录下，右键单击 scripts，选择 New>MaxCompute Python。在 Create new MaxCompute python class 对话框中输入类名 ...
通过UDF访问VPC网络资源
MaxCompute默认不支持通过UDF直接访问VPC网络。若您需要在UDF中访问VPC网络资源，必须先建立MaxCompute与目标VPC之间的网络连接，本文以具体示例为您介绍如何通过UDF访问VPC网络资源。前提条件 请确认您已满足如下条件：已编写UDF代码。更...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
SparkSQL UDF基础操作
Spark SQL提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍Spark SQL中使用Hive自定义函数的流程。前提条件 已在Hive中创建了UDF，详情请...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
UDF示例：引用表资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用表资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的表...
自定义函数（UDF）
Hive提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User ...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
Flink
flink.udf.jars/Users/jzhang/github/flink-udf/target/flink-udf-1.0-SNAPSHOT.jar Zeppelin会扫描JAR包，然后检测出所有的UDF，并且自动注册UDF，UDF的名字就是Class名字。例如，show functions的结果如下。说明 默认情况下Zeppelin会...
- 产品推荐
- 这些文档可能帮助您