MAP_CONCAT
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a、b：必填。MAP对象。多个MAP对象的参数数据类型必须一致。map,V>中的 K、V ...
MAP_FROM_ENTRIES
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。输入为STRUCT类型的数据。其中：K 对应生成MAP的Key值，V 对应生成MAP的Value值...
什么是MaxCompute
MaxCompute SQL任务的命令及函数语法要求及开发示例可参见 开发参考：SQL。CUPID计算平台：可运行Spark任务、Mars任务等三方引擎的任务，多引擎的开发要求及示例请参见 开发参考：多引擎。云服务层 MaxCompute支持创建不同的任务队列，并为...
配置选项
True df.quote ODPS SQL后端是否用 `` 来标记字段和表名。True df.libraries DataFrame运行使用的第三方库（资源名）。None df.supersede_libraries 使用自行上传的NumPy替换服务中的版本。False df.odps.sort.limit DataFrame有排序操作时...
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
HISTOGRAM
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
BITWISE_OR_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
BITWISE_AND_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
选择连接工具
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
CURRENT_TIMESTAMP
使用示例 获取当前时间，代码如下：set odps.sql.type.system.odps2=true;select current_timestamp();返回结果如下：说明 若时间毫秒位为000，则返回值的毫秒位为0；若时间毫秒位为x00，则返回值的毫秒位为x；若时间毫秒位为xx0，则返回值...
MAP_FROM_ARRAYS
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a：必填。ARRAY数组。对应生成MAP的Key值。array中的 K 指代ARRAY数组元素的...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
Python SDK示例：Configuration
True df.optimizes.pp 是否开启DataFrame谓词下推优化 True df.optimizes.cp 是否开启DataFrame列剪裁优化 True df.optimizes.tunnel 是否开启DataFrame使用Tunnel优化执行 True df.quote MaxCompute SQL后端是否用 `` 来标记字段和表名 ...
MAP_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
保留字与关键字
本文为您介绍MaxCompute SQL中的所有保留字与关键字。重要 命名表、列或分区时，不要使用保留字与关键字，否则可能会报错。保留字不区分大小写。在对表、列或是分区命名时如若使用关键字，需给关键字加 `` 符号进行转义，否则会报错。()*+-...
将数据写入OSS
odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下：取值为False：MaxCompute写入到OSS外部表的数据，会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件，用于保证MaxCompute数据的...
MaxCompute UDF（Java）常见问题
如果是Java代码本身报错，可以在调整上述参数的同时，通过 set odps.sql.udf.jvm.memory=xxx;参数调大Jvm内存。更多参数详细信息，请参见 SET操作。UDTF相关问题 调用Java UDTF运行代码时的常见问题如下：问题现象一：运行报错描述为 ...
函数
您可以编写自定义函数并在MaxCompute SQL中使用它们。基本操作 list_functions()：获取项目空间下的所有函数。exist_function()：用于判断是否存在某个函数。get_function()：用于获取函数对象。create_function()：创建函数。delete_...
与Hive、MySQL、Oracle内建函数对照表
本文为您提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表，方便您根据Hive、MySQL、Oracle内建函数查找对应的MaxCompute内建函数。日期函数 MaxCompute Hive MySQL Oracle DATEADD 无 无 无 DATE_ADD DATE_ADD DATE_ADD 无 DATE_...
TRANSFORM_KEYS
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。input：必填。MAP对象。map,V>中的 K1、V 指代MAP对象的Key、Value。func：必填...
外部表常见问题
set odps.sql.mapper.split.size=256;调整每个Mapper读取数据的大小，单位是MB。set odps.sql.reducer.instances=100;调整执行计划的Reducer数量。如何在MaxCompute中使用OSS外部表读取JSON数据？在MaxCompute中使用OSS外部表读取JSON数据...
开发ODPS Script任务
在DataWorks中，您可通过ODPS Script节点实现MaxCompute SQL脚本模式开发任务代码，并调度其他作业的集成操作。适用场景 脚本模式的适用场景如下：脚本模式适合用来改写需要层层嵌套子查询的单个语句，或者因为脚本复杂性而不得不拆成多个...
MULTIMAP_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
MAP_UNION_SUM
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
MAP_UNION
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
MaxCompute TIMESTAMP_NTZ数据类型
MaxCompute Project时区默认是中国的东八区（Asia/Shanghai），通过以下命令返回的odps.sql.timezone属性，确认前时区 setproject;若当前项目非东八区，执行以下代码 SET odps.sql.timezone=Asia/Shanghai;定义包含TIMESTAMP字段类型的表 ...
MAX_PT
MaxCompute SQL语句会读出 pt=‘20120902’分区下的数据。命令示例如下。select*from tbl where pt=max_pt('myproject.tbl');等效于如下语句。select*from tbl where pt=(select max(pt)from myproject.tbl);示例2：在多级分区场景，使用...
概述
管理MaxCompute项目，相关文档如下：DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 注意事项 通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号满足以下要求：是项目空间的成员。有项目空间的...
通过UDF访问VPC网络资源
set odps.sql.type.system.odps2=true;设置网络连接名称，即基于专有网络连接方案配置的网连接名称，仅本Session有效。set odps.session.networklink=testLink;执行SQL调用UDF访问VPC网络资源。select t_telnet("172.16.xxx.xxx",<端口>,...
SQL Workbench/J连接MaxCompute
步骤三：使用SQL Workbench/J管理MaxCompute项目 在SQL Workbench/J操作界面，您可以基于新创建的数据连接，通过执行 MaxCompute SQL 命令来管理MaxCompute项目。查看所有表 创建SQL Workbench/J和MaxCompute数据连接后，SQL Workbench/J会...
JDBC常见问题
因此，和MaxCompute客户端，MaxCompute Studio以及DataWorks一样，通过MaxCompute JDBC Driver执行SQL时，会生成Logview URL。您可以通过Logview查看任务执行状态、追踪任务进度、获取任务执行结果。Logview URL可以通过配置日志输出...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
时区配置操作
您可以通过以下两种方式配置时区：Session级别：执行 SET odps.sql.timezone=;语句，需要与计算语句一起提交。设置时区为Asia/Tokyo。SET odps.sql.timezone=Asia/Tokyo;查询当前时区。SELECT getdate();output:+-+|_c0|+-+|2018-10-30 23:...
MaxCompute SQL示例解析
本文为您介绍MaxCompute SQL常见使用场景，让您快速掌握SQL的写法。准备数据集 本文以emp表和dept表为示例数据集。您可以自行在MaxCompute项目上创建表并上传数据。数据导入请参见 概述。下载 emp表数据文件 和 dept表数据文件。创建emp表...
SET
odps.sql.executionengine.coldata.deep.buffer.size.max 设置MaxCompute在写表过程中，为复杂数据类型的列预先申请的缓存大小，以便提高写入性能。如果输出的表中的复杂数据类型过多或输出表中含有的某个单独的复杂类型变量大小过大，可以...
Lindorm外部表（云原生多模数据库）
在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时，MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将...
PyODPS常见问题
from odps import options options.sql.settings={'odps.sql.mapper.split.size':32} 运行任务后只启动了6个Mapper，设置未生效。在客户端执行 set odps.stage.mapper.split.size=32，一分钟运行完毕。产生原因 客户端和PyODPS里设置的参数...
Python SDK常见问题
from odps import options options.sql.settings={'odps.sql.mapper.split.size':32} 运行任务后只启动了6个Mapper，设置未生效。在客户端执行 set odps.stage.mapper.split.size=32，一分钟运行完毕。产生原因 客户端和PyODPS里设置的参数...
使用Apache Airflow调度MaxCompute
timedelta from configparser import ConfigParser import time reload(sys)sys.setdefaultencoding('utf8')#修改系统默认编码#MaxCompute参数设置 options.sql.settings={'options.tunnel.limit_instance_tunnel':False,'odps.sql.allow....
- 产品推荐
- 这些文档可能帮助您