Python 3 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
CAST
MaxCompute CAST是数据类型转换函数，支持将一个表达式结果（expr）转换成目标数据类型（type）。本文为您介绍CAST函数的命令格式、参数说明以及使用示例。命令格式 cast(<expr>as)参数说明 expr：必填。待转换数据源。type：必填。目标...
打印UDF日志
将string_table表的数据转换成对应的Integer类型，SQL语句如下：set odps.sql.type.system.odps2=true;set odps.user.properties.mylogger.debug=true;select stringToInt(s)from string_table;运行结果：+-+|_c0|+-+|0|1|2|3|+-+在Logview...
Java UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...
Java UDTF
支持的数据类型为BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、CHAR、VARCHAR、复杂数据类型（ARRAY、MAP、STRUCT）或复杂数据类型嵌套。arg_type_list 还支持星号（*）或为空（'...
消费监控告警
MaxCompute提供如下消费监控告警方式：单SQL消费限制：MaxCompute支持在执行SQL语句前预估SQL语句的消费（包括使用后付费和包年包月计算资源的SQL）。当预估消费超出设定的阈值时，SQL语句执行受限，系统返回失败状态并给出失败信息。您...
表
如果您需要创建TINYINT和STRUCT等新数据类型字段的表，可以打开 options.sql.use_odps2_extension=True 开关，示例如下。from odps import options options.sql.use_odps2_extension=True table=o.create_table('my_new_table','cat ...
MAP_FROM_ENTRIES
将多个结构数组组合成一个MAP对象。命令格式 map,V>map_from_entries([string,]array,V>,struct,...相关函数 MAP_FROM_ENTRIES函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
Python 2 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
内建函数概述
如果内建函数的入参涉及2.0新数据类型（例如TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），您需要打开2.0新数据类型开关，否则运行会报错。开关打开方式如下：Session级别：您需要在SQL语句前加上 set odps.sql.type....
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
新功能试用申请
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。功能说明和使用请参见（邀测）MaxCompute Notebook使用说明。2023年3月 项目开启Volume权限 External Volume是MaxCompute提供的分布...
Python 3 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
PyODPS查看一级分区
本文为您介绍如何在PyODPS中查看一级分区。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
PyODPS节点实现避免将数据下载到本地
本文为您介绍PyODPS如何避免将数据下载到本地。背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此，在设备允许的情况下，可以把数据下载到本地处理，然后再上传至MaxCompute。但是这种操作非常低效，数据下载到本地进行处理，无法...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
UDT示例
该方式不支持泛型，当您需要定义一个支持任何数据类型的函数时，必须为每种类型都写一个 evaluate 函数。该方法无法实现个别输入类型（例如ARRAY）的重载函数。在没有提供Resolve注解的情况下，Python UDF或UDTF会根据参数个数决定输入参数...
配置选项
本文为您介绍PyODPS提供的配置选项。您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期（lifecycle选项）。options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel....
UDF开发（Python2）
说明 在编写UDF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明 'bigint,double->string' ...
MAP_CONCAT
该参数也可以在Session级别通过 odps.sql.map.key.dedup.policy 参数进行设置，例如 set odps.sql.map.key.dedup.policy=exception;不设置时该参数默认值为 last_win。说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
ODPS-0123091
0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型转换的...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
数据分析作业
如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。使用SQL查询 您可以在 使用SQL分析连接 的查询模式下执行...
FUNCTION
使用SQL定义UDF时，UDF入参的参数类型需为MaxCompute支持的数据类型，支持的数据类型请参见 2.0数据类型版本；在UDF创建完成后，在调用SQL UDF时，请确保调用时的入参与定义UDF的入参参数类型保持一致。在创建、查询、调用、删除SQL自定义...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤、连接和聚合数据源表，获取结果表。您可通过创建数据开发（DataStudio）的SQL组件节点使用组件，基于组件快速新建数据处理节点，提高开发效率。...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
MAP_FROM_ARRAYS
该参数也可以在Session级别通过 odps.sql.map.key.dedup.policy 参数进行设置，例如 set odps.sql.map.key.dedup.policy=exception;不设置时该参数默认值为 last_win。说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，...
CREATE SQL FUNCTION
使用SQL定义UDF时，UDF入参的参数类型需为MaxCompute支持的数据类型，支持的数据类型请参见 2.0数据类型版本；在UDF创建完成后，在调用SQL UDF时，请确保调用时的入参与定义UDF的入参参数类型保持一致。在创建、查询、调用、删除SQL自定义...
使用MaxCompute分析IP来源最佳实践
本文为您介绍如何使用MaxCompute分析IP来源，包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。...
快速入门
PyODPS可在DataWorks等数据开发平台中作为数据开发节点调用。这些平台提供了PyODPS运行环境和调度执行的能力，无需您手动创建ODPS入口对象。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API...
常见问题
DataWorks为MaxCompute提供了可视化开发和节点流程管理等功能，结合MaxCompute完成一站式数据开发、数据治理等。详情请参见 什么是DataWorks。如何区分DataWorks工作空间和MaxCompute项目？您需要基于DataWorks工作空间来创建MaxCompute...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请...
CURRENT_TIMESTAMP
CURRENT_TIMESTAMP函数为MaxCompute 2.0扩展函数，支持获取数据库服务器当前TIMESTAMP类型的时间。命令格式 timestamp current_timestamp()返回值说明 返回TIMESTAMP类型。使用示例-返回'2017-08-03 11:50:30.661'。set odps.sql.type....
- 产品推荐
- 这些文档可能帮助您