调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
认识MaxCompute Studio
说明 创建MaxCompute SQL脚本时，Studio会提示您选择一个关联的MaxCompute项目，您也可以通过SQL编辑器上的工具条最右侧的 项目选取器 进行更改，编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据（比如表结构等）的检查并汇报错误，...
配置MaxCompute Studio
MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上，单击 MaxCompute Studio>MaxCompute SQL，进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息：语法高亮 选中 Enable syntax coloring，启动语法高亮功能...
配置选项
True df.quote ODPS SQL后端是否用 `` 来标记字段和表名。True df.libraries DataFrame运行使用的第三方库（资源名）。None df.supersede_libraries 使用自行上传的NumPy替换服务中的版本。False df.odps.sort.limit DataFrame有排序操作时...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
Python SDK示例：Configuration
True df.optimizes.pp 是否开启DataFrame谓词下推优化 True df.optimizes.cp 是否开启DataFrame列剪裁优化 True df.optimizes.tunnel 是否开启DataFrame使用Tunnel优化执行 True df.quote MaxCompute SQL后端是否用 `` 来标记字段和表名 ...
开发及提交SQL脚本
创建SQL脚本文件 在 Project 区域下，右键单击 scripts，选择 New>MaxCompute SQL脚本。在 New MaxCompute SQL Script 对话框，配置参数信息，单击 OK。Script Name：脚本名称。MaxCompute Project：目标MaxCompute项目。单击+即可新建一个...
概述
MaxCompute Spark类似MaxCompute SQL、MapReduce等作业类型，运行在MaxCompute项目统一开通的计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系，在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。...
使用MaxCompute编译器检查脚本
推荐您在 MaxCompute SQL 配置选项选中 Enable syntax coloring，启动语法高亮功能。如何配置请参见 MaxCompute SQL配置选项。报错示例 编译器显示 鼠标悬停如下图所示红色报错标记处，编译器显示 expect 1 columns,actually have 2。运行...
CREATE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。DESC FUNCTION：查看MaxCompute项目中指定自定义函数的信息，包含函数名称、所有者...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
查询非结构化数据
查询非结构化数据 在 Project 区域，右键单击 scripts，选择 new>MaxCompute SQL 脚本。在 Script Name 后输入SQL脚本名称，MaxCompute Project 中选择执行脚本的MaxCompute项目，单击 OK。在编辑器中输入创建外部表的SQL语句，并单击 图标...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
使用SQL管理外部项目
与常规MaxCompute SQL不同的是，External Project表需要以 external_project_name.table_name 格式引用。目前暂不支持在外部项目中创建表。向表中插入数据。向非分区表插入数据。进入关联的MaxCompute项目（非外部项目）。use doc_test_...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
概述
管理MaxCompute项目，相关文档如下：DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 注意事项 通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号满足以下要求：是项目空间的成员。有项目空间的...
快速体验MaxCompute
体验MaxCompute 本示例会指导您基于MaxCompute提供的 TPC-DS数据 样例数据和GitHub公开事件样例数据，通过 MaxCompute SQL分析 功能，快速体验MaxCompute产品，完成开通、执行SQL语句查询数据。您无需进行数据同步，可直接上手体验数据分析...
ODPS-0420095
解决方案 按量计费开发者版仅支持MaxCompute SQL（支持使用UDF）、PyODPS作业。请购买并绑定按量计费或包年包月的Quota运行Spark作业，Spark相关操作请参见 概述。错误6：You have no privilege 'odps:Usage' on {acs:odps:*:tanents/...
SQL Workbench/J连接MaxCompute
步骤三：使用SQL Workbench/J管理MaxCompute项目 在SQL Workbench/J操作界面，您可以基于新创建的数据连接，通过执行 MaxCompute SQL 命令来管理MaxCompute项目。查看所有表 创建SQL Workbench/J和MaxCompute数据连接后，SQL Workbench/J会...
2021年
2021-08-31 全部地域 复杂类型函数 日期函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
Tablestore外部表
set odps.sql.unstructured.tablestore.put.row=true;tablestore.read.mode 否 当遇到脏数据时行为定义字段，取值说明如下：permissive（默认值）：当遇到脏数据时，可以跳过。failfast：当遇到脏数据时，直接报错。关于脏数据处理示例，...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
2019年
2019-10-28 全部区域 SELECT语法 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias，对应ORDER BY和GROUP BY中的整型常量被当做...
LIKE字符匹配
注意事项 目前MaxCompute SQL仅支持UTF-8的字符集，如果数据以其他格式编码，计算结果可能不正确。LIKE通配符%表示匹配任意多个字符。表示匹配单个字符。如果要匹配%或_本身，则要对其进行转义。例如：\\%匹配字符%；\\_匹配字符_。示例 ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。在 新建节点 对话框中，输入 名称。说明 节点名称的长度不能超过128个字符。单击 确认。在创建的节点页面，输入 select*from testkafka，单击 图标，运行完成后，查看运行...
配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute...相关文档 查看MaxCompute SQL对应的DML语句的执行计划结构，可使用 explain 语句，详情请参见 EXPLAIN。
Paimon外部表
步骤三：通过MaxCompute创建Paimon外表 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，创建MaxCompute Paimon外部表。本文以 oss_extable_paimon_1 为例。create external table oss_extable_paimon_1(dt STRING,id ...
使用Kafka（离线与实时）
set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的mode值为VALUE，所以只保留value的内容，key字段为NULL+-+-+-+-+-+-+|topic|partition|offset|key|value|pt|+-...
Python 2 UDAF
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
SQL
PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...
什么是MaxCompute
MaxCompute SQL引擎：可直接运行MaxCompute SQL任务。MaxCompute SQL任务的命令及函数语法要求及开发示例可参见 开发参考：SQL。CUPID计算平台：可运行Spark任务、Mars任务等三方引擎的任务，多引擎的开发要求及示例请参见 开发参考：多...
Python 3 UDTF
set odps.sql.python.version=cp37;第三方库 MaxCompute内置的Python 3运行环境中未安装第三方库Numpy。如果您需要使用Numpy的UDTF，请手动上传Numpy的WHEEL包。从PyPI或镜像下载Numpy包时，包的文件名为 numpy-<版本号>-cp37-cp37m-...
Python 3 UDAF
set odps.sql.python.version=cp37;第三方库 MaxCompute内置的Python 3运行环境中未安装第三方库Numpy。如果您需要使用Numpy的UDAF，请手动上传Numpy的WHEEL包。从PyPI或镜像下载Numpy包时，包的文件名为 numpy-<版本号>-cp37-cp37m-...
- 产品推荐
- 这些文档可能帮助您