常见问题
本文列举了MaxCompute的用户经常咨询和关注的一些问题，帮助您快速了解MaxCompute。MaxCompute的用户经常咨询和关注的一些问题如下：使用MaxCompute需要具备什么专业技能？如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据...
内建函数概述
函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、TIMESTAMP等日期类型数据，实现加减日期、计算日期差值、提取日期字段、获取当前时间、转换日期格式等业务处理能力。数学函数 支持处理BIGINT、DOUBLE、DECIMAL、FLOAT等数值类型...
UDF示例：引用文件资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用文件资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的...
PERCENTILE_APPROX
当您需要估计大型数据集中的百分位数，尤其是当精确计算百分位数成本过高或不可行时，MaxCompute支持使用PERCENTILE_APPROX函数计算近似百分位数，先对指定列升序排列，然后取第 p 位百分数对应的值。此函数为MaxCompute 2.0扩展函数，本文...
COLLECT_LIST
此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据...
UDF示例：引用表资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用表资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的表...
UDF开发（Python3）
至少要包含 from odps.udf import annotate，导入函数签名模块，MaxCompute才可以识别后续代码中定义的函数签名。当UDF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 from odps....
PyODPS常见问题
使用 odps.df.func 模块来调用MaxCompute内建函数。from odps.df import func df=o.get_table('your_table').to_df()df[df.ds=func.max_pt('your_project.your_table')]#ds是分区字段。使用PyODPS向表写入数据的两种方式open_writer()和...
Python SDK常见问题
使用 odps.df.func 模块来调用MaxCompute内建函数。from odps.df import func df=o.get_table('your_table').to_df()df[df.ds=func.max_pt('your_project.your_table')]#ds是分区字段。使用PyODPS向表写入数据的两种方式open_writer()和...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
NVL
当您在查询中希望用一个具体的值来代替NULL值时，MaxCompute支持使用NVL函数将NULL值替换为指定的值，确保在执行数据分析或生成报告时，结果中不会有意外的空值。本文为您介绍在MaxCompute中NVL函数的使用。命令格式 nvl(T,T)参数说明 ...
LIST FUNCTIONS
查看MaxCompute项目中所有自定义函数的信息。命令格式 list functions[-p];参数说明 project_name：可选。指定MaxCompute项目的名称。使用示例 list functions;返回结果如下。Name Owner Create Time Class Resources ipv4_ipv6_aton ...
Python 2 UDTF读取MaxCompute资源示例
代码开发 UDTF代码示例如下：#-*-coding:utf-8-*-from odps.udf import annotate from odps.udf import BaseUDTF from odps.distcache import get_cache_file from odps.distcache import get_cache_table@annotate('string->string,bigint...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首字母大写，其余小写。命令格式 string initcap()参数...相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
CHAR_MATCHCOUNT
MaxCompute CHAR_MATCHCOUNT函数用于计算两个字符串之间相同字符的个数。本文为您介绍CHAR_MATCHCOUNT函数的命令格式、参数说明以及使用示例。命令格式 bigint char_matchcount(string,string)参数说明 str1、str2：必填。STRING类型，必须...
MaxCompute权限
背景信息 MaxCompute细化了项目（Project）、Quota、Networklink对象以及项目内的表（Table）、函数（Function）、资源（Resource）及实例（Instance）对象的操作，同时还支持对Tunnel下载、敏感数据访问及跨项目访问行为进行管控。...
上传及注册
Force update if already exists 选中该项，表示当MaxCompute项目中存在同名函数或资源时，新函数或资源会替代旧函数或资源。单击 OK，完成上传资源及注册MaxCompute UDF。完成上述操作后，即可在SQL中调用MaxCompute UDF。
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Common错误码（ODPS-00CCCCX）
ODPS-0010000:System internal error-CP37 can only be enabled by jobconf2 0 SQL代码中涉及到Python定义的函数，且运行过程遇到了沙箱问题，回退到了JobConf1，JobConf1不支持Python 3.7，故报错。使用Python 2编写自定义函数，或者在SQL...
FROM_CHARSET
MaxCompute FROM_CHARSET支持将指定...MaxCompute SQL常见问题，详情请参见：DDL操作常见问题 DML操作常见问题 DQL操作常见问题 SQL其他常见问题 MaxCompute内建函数常见错误码和常见问题，详情请参见：内建函数常见错误码 内建函数常见问题
打包、上传及注册
下一步 完成Java UDF注册后，您即可通过MaxCompute SQL调用Java UDF：在归属MaxCompute项目中使用UDF：使用方法与内建函数类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
Java UDTF
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
UDF示例：使用正则表达式替换字符串
与MaxCompute的内建函数 REGEXP_REPLACE 函数相比，该函数中正则表达式支持变量。参数说明：s：源字符串，STRING类型，必填。regex：正则表达式，STRING类型，必填。replacement：替换字符串，将该字符串通过正则表达式替换源字符串，...
Java UDAF
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
PyODPS API概述
本文为您提供了PyODPS API文档链接，其中包含各函数的参数说明及示例。ODPS详解（Definitions）PyODPS DataFrame指南（DataFrame Reference）
ARRAY_INTERSECT
MaxCompute ARRAY_INTERSECT函数用于计算两个ARRAY数组之间的交集，并返回一个包含两个数组中都存在的相同值的新数组。本文为您介绍ARRAY_INTERSECT函数的命令格式、参数说明以及使用示例。命令格式 array<T>array_intersect(array<T><a>,...
RAND
返回DOUBLE类型的随机数，返回值区间是0～1。命令格式 double rand(bigint)参数说明 seed：可选。BIGINT类型。随机数种子，决定随机数序列的起始值。...相关函数 RAND函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
SQL错误码（ODPS-01CCCCX）
ODPS-0130013:Authorization exception 模块：PARSER。严重等级：3。触发条件：权限不足，安全检查不通过。处理方法：请根据提示信息，联系项目所有者授予对应操作权限。更多权限信息，请参见 MaxCompute权限。ODPS-0130031:Failed to drop...
Python 3 UDTF
from odps.udf import annotate 用于导入函数签名模块，MaxCompute才可以识别后续代码中定义的函数签名。from odps.udf import BaseUDTF 为Python UDTF的基类，您需要通过此类在派生类中实现 process 或 close 等方法。当UDTF代码中需要...
开发及提交SQL脚本
如果MaxCompute服务端存在表或函数，但MaxCompute Studio提示表和函数不存在时，请尝试使用该功能更新元数据。SQL依赖于您在 Project Explorer 窗口中添加的项目元数据，系统先在本地进行编译，无编译错误后会提交到服务端执行。SQL执行...
常见问题
常见问题 产品计费 计费常见问题 规格类型 规格常见问题 准备工作 常见问题 连接至MaxCompute Java SDK常见问题 Python SDK常见问题 JDBC常见问题 数据迁移 Tunnel命令常见问题 Tunnel SDK常见问题 开发 SQL：SQL常见问题 内建函数：...
SUBSTR
返回字符串 str 从 start_position 开始，长度为 length 的子串。命令格式 string substr(string,bigint[,bigint])参数说明 str：必填。...相关函数 SUBSTR函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
Java UDTF读取MaxCompute资源示例
本文为您介绍基于MaxCompute Studio通过Java UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute Studio，并连接至MaxCompute项目，创建了MaxCompute Java Module。更多操作信息，请参见 安装MaxCompute Studio、管理项目连接 ...
COMBINATIONS
返回输入数组元素的N元组合组成的数组。命令格式 combinations...返回结果如下：[[1,2],[1,2],[2,2]]相关函数 COMBINATIONS函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
2021年
日期函数 TO_MILLIS：将指定日期转换为以毫秒为单位的UNIX时间戳。字符串函数 ENCODE：将字符串按照指定编码格式编码。FIND_IN_SET：在以逗号分隔的字符串中查找指定字符串的位置。LOCATE：在字符串中查找另一指定字符串的位置。PARSE_URL_...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过...当仅需要对表中部分数据进行加密，可使用MaxCompute提供的加密函数，详情请参见 加密函数。
PyODPS概述
在这个例子中也使用到了三方包，MaxCompute是支持自定义函数中使用三方包的（示例中的 jieba），所以无需担心代码改动带来的成本，您可以几乎不需要改动主要逻辑就可以享受到MaxCompute的大规模计算能力。使用限制 SQL使用限制项。...
- 产品推荐
- 这些文档可能帮助您