开发ODPS SQL任务
编辑代码：进阶示例 更复杂的ODPS SQL任务示例如下：与标准SQL的主要区别及解决方法 MaxCompute SQL中的关联操作 JSON数据从OSS迁移至MaxCompute 基于GitHub公开事件数据集的离线实时一体化实践 基于MaxCompute UDF将IPv4或IPv6地址转换为...
SQL
PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...
SQL错误码（ODPS-01CCCCX）
解决措施：您可以在 MaxCompute客户端，通过如下方式之一，开启2.0数据类型开关：Session级别：您需要在SQL语句前加上 set odps.sql.type.system.odps2=true;语句，与SQL语句一起提交执行。Project级别：项目所有者（Project Owner）可以...
MaxCompute SQL示例解析
本文为您介绍MaxCompute SQL常见使用场景，让您快速掌握SQL的写法。准备数据集 本文以emp表和dept表为示例数据集。您可以自行在MaxCompute项目上创建表并上传数据。数据导入请参见 概述。下载 emp表数据文件 和 dept表数据文件。创建emp表...
SQL Workbench/J连接MaxCompute
步骤三：使用SQL Workbench/J管理MaxCompute项目 在SQL Workbench/J操作界面，您可以基于新创建的数据连接，通过执行 MaxCompute SQL 命令来管理MaxCompute项目。查看所有表 创建SQL Workbench/J和MaxCompute数据连接后，SQL Workbench/J会...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
SQL其他常见问题
在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据类型自动隐式转换，如何解决？查询数据时，提示XXXtypeisnotenabled ...
SQL脚本模式
使用MaxCompute Studio脚本模式，首先请保证MaxCompute Studio完成安装、添加项目链接、建立MaxCompute SQL脚本文件，详情请参见 安装IntelliJ IDEA、管理项目连接、创建MaxCompute Script Module。编辑脚本页面如下。脚本编译后提交运行，...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
开发及提交SQL脚本
创建SQL脚本文件 在 Project 区域下，右键单击 scripts，选择 New>MaxCompute SQL脚本。在 New MaxCompute SQL Script 对话框，配置参数信息，单击 OK。Script Name：脚本名称。MaxCompute Project：目标MaxCompute项目。单击+即可新建一个...
使用SQL管理外部项目
与常规MaxCompute SQL不同的是，External Project表需要以 external_project_name.table_name 格式引用。目前暂不支持在外部项目中创建表。向表中插入数据。向非分区表插入数据。进入关联的MaxCompute项目（非外部项目）。use doc_test_...
使用SQL分析连接
公共数据集DEMO MaxCompute SQL分析内置的公共数据集Demo Query文件，您可以直接打开运行，也可以临时编辑并运行，但不支持保存您编辑的内容，即使保存刷新页面也会回到原始内容，请自行保存修改后的文件内容。内置的Demo主要基于公共数据...
Python SDK示例：SQL
注意事项 PyODPS支持MaxCompute SQL查询，并可以读取执行的结果，使用时有以下注意事项。入口对象的 execute_sql('statement')和 run_sql('statement')方法可以执行SQL语句，返回值是运行实例，详情请参见 任务实例。目前暂不支持使用Arrow...
SQL调优
非读表的Task 主要有如下三种方式调整并发度：调整 odps.sql.mapper.split.size 值：非读表Task的并发度会受到输入Task的并行度影响，通过调整读表Task的并发度间接调整非读表Task的并发度。调整 odps.sql.reducer.instances 值：使用如下...
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
MapReduce支持SQL运行时执行模式
新版本MaxCompute支持将MapReduce作业指定为SQL运行时执行模式，基于SQL运行时，MapReduce可以使用MaxCompute SQL引擎编译器、基于代价的优化器和向量化执行的执行引擎，同时可以复用SQL引擎开发的各种新特性，包括功能、性能、稳定性等...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
CREATE SQL FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
MaxCompute SQL中的关联操作
key ds 1 20180101 3 20180101 2 20180102 表A和表B的笛卡尔乘积 计算笛卡尔乘积SQL如下：SET odps.sql.allow.cartesian=true;SELECT*FROM A,B;返回结果如下：+-+-+-+-+|key|ds|key2|ds2|+-+-+-+-+|1|20180101|1|20180101|2|20180101|1|...
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
不兼容SQL重写
如果无法优化UDF性能，可以尝试手动设置batch row大小来绕开（默认为1024）：set odps.sql.executionengine.batch.rowcount=16;divide.nan.or.overflow 旧版MaxCompute不会做除法常量折叠的问题。比如如下语句，旧版MaxCompute对应的物理...
通过MaxCompute SQL查询权限信息
MaxCompute支持通过SQL语句查询用户、角色、对象等的权限信息。本文为您介绍SQL权限查询语法并提供示例供参考。基于MaxCompute提供的授权方案为用户或角色授权后，您可以查询如下权限信息。查询场景 查询操作 操作人角色 操作入口 查询角色...
开发ODPS SQL任务
编辑代码：进阶示例 更复杂的ODPS SQL任务示例如下：与标准SQL的主要区别及解决方法 MaxCompute SQL中的关联操作 JSON数据从OSS迁移至MaxCompute 基于GitHub公开事件数据集的离线实时一体化实践 基于MaxCompute UDF将IPv4或IPv6地址转换为...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
引用SQL组件
已创建SQL组件节点，详情请参见 创建并管理MaxCompute节点。使用限制 仅DataWorks标准版及以上版本，才可使用SQL组件节点功能。详情请参见 DataWorks各版本详解。本工作空间成员创建的组件在 组件 下。租户成员创建的组件在 公共组件 下。...
UDF（SQL自定义函数）
MaxCompute支持直接通过SQL语言定义函数，简化部分简单UDF的定义使用流程。本文为您介绍如何通过SQL语言定义函数（SQL Function）并使用SQL定义的UDF。背景信息 功能介绍 SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute...
运行SQL命令并导出结果数据
set odps.sql.allow.fullscan=true;insert overwrite table result_table2 select education,count(marital)as num,credit from bank_data_pt where housing='yes' and marital='single' group by education,credit;查询result_table1和...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
- 产品推荐
- 这些文档可能帮助您