基于Hadoop集群支持Delta Lake或Hudi存储机制
spark-sql \-conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \-conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' 进入spark-sql后，建表并插入数据，命令如下。说明 若没有新建...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
迁移服务（MMA）
用于执行Maxcompute Sql的Project 是 选择迁移至MaxCompute的项目。如果Hive开启了Kerberos协议认证，需要填写以下参数。参数名称 说明 Kerberos认证 打开Kerberos协议认证开关。说明 默认是Kerberos协议认证开关是关闭的。Kerberos ...
转义字符
对JSON文本加上正确的SQL转义字符：'{"key":"this is very \\"important\\"."}'，再次使用 get_json_object 函数提取Value值，得到正确的结果：set odps.sql.udf.getjsonobj.new=true;select get_json_object('{"key":"this is very \\...
SELECT TRANSFORM
打开方式为在SQL语句前加set语句 set odps.sql.hive.compatible=true;Hive支持的语法详情请参见 Hive文档。如果使用Hive的 inputRecordReader、outputRecordReader 等自定义类，可能会降低执行性能。using 子句：必填。指定要启动的子进程...
SELECT TRANSFORM
打开方式为在SQL语句前加set语句 set odps.sql.hive.compatible=true;Hive支持的语法详情请参见 Hive文档。如果使用Hive的 inputRecordReader、outputRecordReader 等自定义类，可能会降低执行性能。using 子句：必填。指定要启动的子进程...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。在 新建节点 对话框中，输入 名称。说明 节点名称的长度不能超过128个字符。单击 确认。在创建的节点页面，输入 select*from testkafka，单击 图标，运行完成后，查看运行...
MaxCompute数据开发规范
odps sql-*-author:${author}-create time:${createTime}-*-字段排列要求 SELECT语句选择的字段按每行一个字段方式编排。SELECT单字后面一个缩进量后应直接跟首个选择的字段，即字段离首起二个缩进量。其它字段前导二个缩进量再跟一个逗号...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建...执行结果 您可以新建一个 ODPS SQL 类型的节点，用于查询当前MaxCompute表中的数据。输入您的查询语句 select*from good_sale;单击 运行，即可看到当前已传入MaxCompute表中的数据。
MaxCompute在电商场景中如何进行漏斗模型分析
本文以电商场景为例，为您介绍如何使用MaxCompute进行离线数据计算并连接Quick BI进行漏斗模型展示。背景信息 漏斗模型是通过产品各项数据的转化率来判断产品运营情况的工具。转化漏斗则是通过各阶段数据的转化，来判断产品在哪一个环节出...
调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
公开数据集概述
SET odps.sql.validate.orderby.limit=FALSE;SET odps.sql.hive.compatible=TRUE;SELECT l_returnflag,l_linestatus,sum(l_quantity)AS sum_qty,sum(l_extendedprice)AS sum_base_price,sum(l_extendedprice*(1-l_discount))AS sum_disc_...
ODPS-0130071
需要关闭commit mode-插入数据 set odps.sql.unstructured.oss.commit.mode=false;insert into mf_oss_spe_pt partition(pt1=8,pt2=8)values(1,'tere');查询数据 set odps.sql.unstructured.oss.commit.mode=false;select*from mf_oss_spe_...
创建OSS外部表
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用DataWorks连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 创建OSS外部...
使用MaxCompute编译器检查脚本
推荐您在 MaxCompute SQL 配置选项选中 Enable syntax coloring，启动语法高亮功能。如何配置请参见 MaxCompute SQL配置选项。报错示例 编译器显示 鼠标悬停如下图所示红色报错标记处，编译器显示 expect 1 columns,actually have 2。运行...
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
开发及提交SQL脚本
创建SQL脚本文件 在 Project 区域下，右键单击 scripts，选择 New>MaxCompute SQL脚本。在 New MaxCompute SQL Script 对话框，配置参数信息，单击 OK。Script Name：脚本名称。MaxCompute Project：目标MaxCompute项目。单击+即可新建一个...
执行
print(iris[iris.sepallength].to_pandas(hints={'odps.sql.mapper.split.size':16}))返回结果：sepallength sepalwidth petallength petalwidth name 0 4.5 2.3 1.3 0.3 Iris-setosa 1 4.9 2.4 3.3 1.0 Iris-versicolor 运行时显示详细...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
MaxCompute安全白皮书
元数据仓库是使用MaxCompute来分析MaxCompute自己的运行状况，将MaxCompute中的各种元信息整理汇总成MaxCompute中的表，方便用户查询和统计。包括静态数据、运行记录及安全信息等内容。静态数据：是指一旦产生就不会自动消失的数据。运行...
查询非结构化数据
查询非结构化数据 在 Project 区域，右键单击 scripts，选择 new>MaxCompute SQL 脚本。在 Script Name 后输入SQL脚本名称，MaxCompute Project 中选择执行脚本的MaxCompute项目，单击 OK。在编辑器中输入创建外部表的SQL语句，并单击 图标...
MaxCompute账单用量明细分析
步骤二（可选）：上传用量明细数据至MaxCompute 说明 如果您期望通过MaxCompute SQL进行用量明细分析，则需要参考本步骤将用量明细导入MaxCompute；如果您只希望使用Excel进行用量明细分析，则无需进行此步骤。使用MaxCompute客户端...
概述
MaxCompute Spark类似MaxCompute SQL、MapReduce等作业类型，运行在MaxCompute项目统一开通的计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系，在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
LIKE字符匹配
注意事项 目前MaxCompute SQL仅支持UTF-8的字符集，如果数据以其他格式编码，计算结果可能不正确。LIKE通配符%表示匹配任意多个字符。表示匹配单个字符。如果要匹配%或_本身，则要对其进行转义。例如：\\%匹配字符%；\\_匹配字符_。示例 ...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute...相关文档 查看MaxCompute SQL对应的DML语句的执行计划结构，可使用 explain 语句，详情请参见 EXPLAIN。
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
什么是MaxCompute
MaxCompute SQL引擎：可直接运行MaxCompute SQL任务。MaxCompute SQL任务的命令及函数语法要求及开发示例可参见 开发参考：SQL。CUPID计算平台：可运行Spark任务、Mars任务等三方引擎的任务，多引擎的开发要求及示例请参见 开发参考：多...
2019年
2019-10-28 全部区域 SELECT语法 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias，对应ORDER BY和GROUP BY中的整型常量被当做...
保留字与关键字
本文为您介绍MaxCompute SQL中的所有保留字与关键字。注意 命名表、列或分区时，不要使用保留字与关键字，否则可能会报错。保留字不区分大小写。在对表、列或是分区命名时如若使用关键字，需给关键字加 `` 符号进行转义，否则会报错。()*+-...
- 产品推荐
- 这些文档可能帮助您