MaxCompute作业概述
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
统计MaxCompute TOPN费用账号及耗时作业
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...
MaxCompute后付费消费突增排查
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心，在...
JSON数据从OSS迁移至MaxCompute
在ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_OBJECT(mqdata.MQdata,'$.expensive')FROM mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
迁移Oracle数据至MaxCompute最佳实践
本文为您介绍如何通过DataWorks的数据集成功能，迁移Oracle数据至MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您可以在 运行日志 查看运行结果。
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。SELECT*from mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
压缩数据从OSS迁移至MaxCompute
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
Elasticsearch数据迁移至MaxCompute
本文为您介绍如何通过DataWorks数据同步功能，迁移阿里云Elasticsearch集群上的数据至MaxCompute。...在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
OSS外部表根据字段名称Mapping数据
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。LIST FUNCTIONS：查看MaxCompute项目中所有自定义函数的信息。UPDATE FUNCTION：...
GETDATE
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
认识MaxCompute Studio
说明 创建MaxCompute SQL脚本时，Studio会提示您选择一个关联的MaxCompute项目，您也可以通过SQL编辑器上的工具条最右侧的 项目选取器 进行更改，编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据（比如表结构等）的检查并汇报错误，...
2021年
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询。2021-08-06 全部地域 物化视图操作 2021-07 功能名称 功能描述 发布...
调试指南
ODPS SQL后端查看编译结果 您可以直接调用 compile 方法查看ODPS SQL后端编译到SQL的结果。df=iris.groupby('name').agg(sepalwidth=iris.sepalwidth.max())>>>df.compile()Stage 1:SQL compiled:SELECT t1.`name`,MAX(t1.`sepalwidth`)AS ...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
PyODPS参数传递
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS传递参数。登录 ...
PyODPS查看一级分区
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS查看一级分区。登录 ...
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
概述
MaxCompute Spark类似MaxCompute SQL、MapReduce等作业类型，运行在MaxCompute项目统一开通的计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系，在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。...
Python SDK示例：Configuration
True df.optimizes.pp 是否开启DataFrame谓词下推优化 True df.optimizes.cp 是否开启DataFrame列剪裁优化 True df.optimizes.tunnel 是否开启DataFrame使用Tunnel优化执行 True df.quote MaxCompute SQL后端是否用 `` 来标记字段和表名 ...
查询非结构化数据
查询非结构化数据 在 Project 区域，右键单击 scripts，选择 new>MaxCompute SQL 脚本。在 Script Name 后输入SQL脚本名称，MaxCompute Project 中选择执行脚本的MaxCompute项目，单击 OK。在编辑器中输入创建外部表的SQL语句，并单击 图标...
PyODPS读取分区表数据
在ODPS SQL节点中输入如下代码。insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS读取分区表数据。登录 ...
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
HAVING子句
MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。命令格式如下。SELECT column_name,aggregate_function(column_name)FROM table_name WHERE column_name operator value GROUP BY column_name ...
快速体验MaxCompute
体验MaxCompute 本示例会指导您基于MaxCompute提供的 TPC-DS数据 样例数据和GitHub公开事件样例数据，通过 MaxCompute SQL分析 功能，快速体验MaxCompute产品，完成开通、执行SQL语句查询数据。您无需进行数据同步，可直接上手体验数据分析...
Paimon外部表
步骤三：通过MaxCompute创建Paimon外表 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，创建MaxCompute Paimon外部表。本文以 oss_extable_paimon_1 为例。create external table oss_extable_paimon_1(dt STRING,id ...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
ODPS-0130252
解决方案 建议的方案是修改query：1）当其中join的一张表是小表时，可以设置odps.sql.allow.cartesian值为true或者补充join的关联条件来解决。2）当join的表都是大表时，不推荐odps.sql.allow.cartesian设置为true，会发生数据膨胀。建议...
LIKE字符匹配
注意事项 目前MaxCompute SQL仅支持UTF-8的字符集，如果数据以其他格式编码，计算结果可能不正确。LIKE通配符%表示匹配任意多个字符。表示匹配单个字符。如果要匹配%或_本身，则要对其进行转义。例如：\\%匹配字符%；\\_匹配字符_。示例 ...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
SQL其他常见问题
更多ODPS SQL节点信息，请参见 创建ODPS SQL节点。如何在SQL中实现循环？您可以通过DataWorks的 do-while节点 实现。如何在SQL中调用赋值节点？您可以通过DataWorks的 for-each节点 实现。如何查看MaxCompute日执行的所有SQL？您可以执行 ...
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
开发ODPS MR任务
返回结果：OK 在ODPS SQL节点中查询输出表 wc_out 的数据。select*from wc_out;返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：...
Tablestore外部表
使用常见的MaxCompute SQL语句访问Tablestore时，所有的操作细节（例如列名的选择）是在MaxCompute内部处理完成的。上述SQL示例中，使用的列名是odps_orderkey、odps_totalprice等，而不是原始Tablestore中的主键名o_orderkey或属性列名o_...
概述
管理MaxCompute项目，相关文档如下：DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 注意事项 通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号满足以下要求：是项目空间的成员。有项目空间的...
- 产品推荐
- 这些文档可能帮助您