与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
使用SQL管理外部项目
常规MaxCompute SQL语法，请参见 表操作 和 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）。您可以在odps_config.ini文件中增加set配置内容，避免每次手动输入。更多分片上传功能信息，请参见 分片上传。基于Hadoop外部数据源的外部项目...
Tablestore外部表
查询外部表 创建完外部表后，Tablestore的数据便引入到了MaxCompute生态中，即可通过正常的MaxCompute SQL语法访问Tablestore数据，如下所示。SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_...
2021年
2021-07-30 全部地域 聚合函数 MaxCompute SQL子查询支持多列运算的语法 MaxCompute SQL兼容PostgreSQL子查询语法，提供 in subquery/scalar subquery 支持多列运算的语法。其中：in subquery：in 后的表达式可以为简单的SELECT多列语句。...
SQL概述
参考文档 说明 了解MaxCompute SQL 与其他SQL语法的差异 了解与主流数据库的语法差异。保留字与关键字 了解MaxCompute SQL命令中的保留字与关键字。数据类型 了解MaxCompute SQL支持处理的数据类型、版本及各版本间的区别。数据类型转换 ...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
GETDATE
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
DELETE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数，也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
认识MaxCompute Studio
MaxCompute Studio在IntelliJ IDEA的基础上提供以下功能：SQL编辑器（SQL Editor）：提供SQL语法高亮、代码补全、实时错误提示、本地编译、作业提交等功能。项目浏览器（Project Explorer)：连接MaxCompute项目，浏览项目表结构、自定义...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
开发及提交SQL脚本
SQL语法详情请参见 SQL概述。以下为一个脚本代码示例。create table table_5(col1 bigint,col2 bigint,col3 bigint,ds datetime);insert into table table_5 values(1,2,3,DATETIME'2017-11-11 00:00:00');select*from table_5 where ds='$...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
配置选项
True df.quote ODPS SQL后端是否用 `` 来标记字段和表名。True df.libraries DataFrame运行使用的第三方库（资源名）。None df.supersede_libraries 使用自行上传的NumPy替换服务中的版本。False df.odps.sort.limit DataFrame有排序操作时...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
MaxCompute作业概述
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
Python SDK示例：Configuration
True df.optimizes.pp 是否开启DataFrame谓词下推优化 True df.optimizes.cp 是否开启DataFrame列剪裁优化 True df.optimizes.tunnel 是否开启DataFrame使用Tunnel优化执行 True df.quote MaxCompute SQL后端是否用 `` 来标记字段和表名 ...
概述
MaxCompute Spark类似MaxCompute SQL、MapReduce等作业类型，运行在MaxCompute项目统一开通的计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系，在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。...
CREATE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。DESC FUNCTION：查看MaxCompute项目中指定自定义函数的信息，包含函数名称、所有者...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
查询非结构化数据
查询非结构化数据 在 Project 区域，右键单击 scripts，选择 new>MaxCompute SQL 脚本。在 Script Name 后输入SQL脚本名称，MaxCompute Project 中选择执行脚本的MaxCompute项目，单击 OK。在编辑器中输入创建外部表的SQL语句，并单击 图标...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
概述
管理MaxCompute项目，相关文档如下：DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 注意事项 通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号满足以下要求：是项目空间的成员。有项目空间的...
快速体验MaxCompute
体验MaxCompute 本示例会指导您基于MaxCompute提供的 TPC-DS数据 样例数据和GitHub公开事件样例数据，通过 MaxCompute SQL分析 功能，快速体验MaxCompute产品，完成开通、执行SQL语句查询数据。您无需进行数据同步，可直接上手体验数据分析...
SQL Workbench/J连接MaxCompute
步骤三：使用SQL Workbench/J管理MaxCompute项目 在SQL Workbench/J操作界面，您可以基于新创建的数据连接，通过执行 MaxCompute SQL 命令来管理MaxCompute项目。查看所有表 创建SQL Workbench/J和MaxCompute数据连接后，SQL Workbench/J会...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
UDF开发（Java）
UDF开发完成后：UDF调用说明 按照上述 UDF开发流程，完成Java UDF开发后，您即可在odpscmd中通过MaxCompute SQL调用Java UDF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
PyODPS参数传递
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
LIKE字符匹配
注意事项 目前MaxCompute SQL仅支持UTF-8的字符集，如果数据以其他格式编码，计算结果可能不正确。LIKE通配符%表示匹配任意多个字符。表示匹配单个字符。如果要匹配%或_本身，则要对其进行转义。例如：\\%匹配字符%；\\_匹配字符_。示例 ...
建立性能基准
记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。icmsDocProps={'...
PyODPS查看一级分区
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
- 产品推荐
- 这些文档可能帮助您