SQL概述
参考文档 说明 了解MaxCompute SQL 与其他SQL语法的差异 了解与主流数据库的语法差异。保留字与关键字 了解MaxCompute SQL命令中的保留字与关键字。数据类型 了解MaxCompute SQL支持处理的数据类型、版本及各版本间的区别。数据类型转换 ...
功能特性
功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 DQL操作 DQL操作 DQL操作 函数开发 内建函数 MaxCompute提供丰富的内建函数，方便用户进行数据分析和数据加工。内建函数 自定义函数 MaxCompute支持...
SQL其他常见问题
在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据类型自动隐式转换，如何解决？查询数据时，提示XXXtypeisnotenabled ...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute...相关文档 查看MaxCompute SQL对应的DML语句的执行计划结构，可使用 explain 语句，详情请参见 EXPLAIN。
配置MaxCompute Studio
MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上，单击 MaxCompute Studio>MaxCompute SQL，进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息：语法高亮 选中 Enable syntax coloring，启动语法高亮功能...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
MaxCompute作业概述
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
创建并使用MaxCompute资源
说明 新创建的资源如果未在MaxCompute（ODPS）客户端上传过，则需勾选 上传为ODPS资源，如果该资源已上传至MaxCompute（ODPS）客户端，则需取消勾选 上传为ODPS资源，否则上传均会报错。通过DataWorks可视化方式创建或上传的资源，若上传时...
CREATE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。DESC FUNCTION：查看MaxCompute项目中指定自定义函数的信息，包含函数名称、所有者...
UDF开发（Java）
UDF开发完成后：UDF调用说明 按照上述 UDF开发流程，完成Java UDF开发后，您即可在odpscmd中通过MaxCompute SQL调用Java UDF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
建立性能基准
记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。icmsDocProps={'...
PyODPS参数传递
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
开发ODPS MR任务
返回结果：OK 在ODPS SQL节点中查询输出表 wc_out 的数据。select*from wc_out;返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：...
PyODPS查看一级分区
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
MaxCompute后付费消费突增排查
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心，在...
JSON数据从OSS迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建函数 对话框中，输入 函数名称，单击 新建。在ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_...
MaxCompute如何访问Hologres
MaxCompute SQL外部表的方式访问Hologres，详情请参见 MaxCompute SQL外部表方式访问Hologres。MaxCompute Spark方式访问Hologres，如下所示。MaxCompute Spark访问Hologres：Local提交模式。MaxCompute Spark访问Hologres：Cluster提交...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
使用Kafka（离线与实时）
set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的mode值为VALUE，所以只保留value的内容，key字段为NULL+-+-+-+-+-+-+|topic|partition|offset|key|value|pt|+-...
Python 2 UDAF
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
UDF开发（Python3）
创建ODPS SQL节点的操作请参见 开发ODPS SQL任务，命令示例如下。set odps.sql.python.version=cp37;python3 UDF需要使用该命令开启python3 select UDF_GET_URL_CHAR("http://www.taobao.com/a.htm",1);使用odpscmd 准备工作。使用odpscmd...
SQL
PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...
GETDATE
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
Python 3 UDTF
set odps.sql.python.version=cp37;第三方库 MaxCompute内置的Python 3运行环境中未安装第三方库Numpy。如果您需要使用Numpy的UDTF，请手动上传Numpy的WHEEL包。从PyPI或镜像下载Numpy包时，包的文件名为 numpy-<版本号>-cp37-cp37m-...
PyODPS读取分区表数据
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
Python 3 UDAF
set odps.sql.python.version=cp37;第三方库 MaxCompute内置的Python 3运行环境中未安装第三方库Numpy。如果您需要使用Numpy的UDAF，请手动上传Numpy的WHEEL包。从PyPI或镜像下载Numpy包时，包的文件名为 numpy-<版本号>-cp37-cp37m-...
使用MaxCompute分析IP来源最佳实践
在SQL中使用UDF函数分析IP来源 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面，输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...
内置镜像
调用UDF时，支持在SQL会话（Session）级别使用Flag指定所依赖的镜像，需同时指定Python版本，命令如下：set odps.sql.python.version=cp37;set odps.session.image=<镜像名称>;PyODPS开发中，支持使用execute或persist方法的image参数指定...
DELETE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数，也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...
统计MaxCompute TOPN费用账号及耗时作业
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...
迁移Oracle数据至MaxCompute最佳实践
验证结果 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中配置节点基本信息，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您...
Python 2 UDTF
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
- 产品推荐
- 这些文档可能帮助您