TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
多路输出（MULTI INSERT）
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接...
MULTI INSERT
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。前提条件 执行操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...
JSON数据从OSS迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建函数 对话框中，输入 函数名称，单击 新建。在ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
周期性调度作业概述
数据访问与权限控制 您可通过ODPS SQL节点或临时查询节点，查询MaxCompute表数据，简单模式 工作空间无法做到细粒度权限控制及开发生产隔离，本文以 标准模式 工作空间示例说明。权限预设情况说明 RAM用户被添加至工作空间成为空间成员后，...
使用MaxCompute分析IP来源最佳实践
在SQL中使用UDF函数分析IP来源 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面，输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...
Python 2 UDTF
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
MAP_CONCAT
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a、b：必填。MAP对象。多个MAP对象的参数数据类型必须一致。map,V>中的 K、V ...
MAP_FROM_ENTRIES
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。输入为STRUCT类型的数据。其中：K 对应生成MAP的Key值，V 对应生成MAP的Value值...
Java SDK常见问题
例如，如果您需要使用MaxCompute 2.0数据类型，可以通过Session级别方式开启，在涉及2.0新数据类型的SQL前增加Set Flag语句 set odps.sql.type.system.odps2=true;使用Java SDK提交SQL时，不能简单地把Set Flag语句直接增加到SQL中，设置...
创建并使用MaxCompute表
表物理属性变更 MaxCompute表的物理属性变更操作，均可通过MaxCompute SQL命令执行，详情请参见 表操作。由于DataWorks上操作MaxCompute存在一定的权限管控，RAM用户（子账号）在某些场景下通过命令操作表会报错，详情请参见 MaxCompute...
PyODPS读取分区表数据
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
UDF开发（Python2）
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
创建OSS外部表
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用DataWorks连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 创建OSS外部...
2019年
在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？2019-06-19 新增PyODPS最佳...
MAP_FROM_ARRAYS
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a：必填。ARRAY数组。对应生成MAP的Key值。array中的 K 指代ARRAY数组元素的...
网络开通流程
适用于通过MaxCompute SQL、UDF、Spark、MR、PyODPS/Mars、外部表或基于湖仓一体架构访阿里云OSS、DLF、OTS（Tablestore）、Hologres等服务的场景，连接使用阿里云内部服务提供的经典网络地址。如果您创建了OSS或OTS外部表，可以通过OSS、...
与Hive、MySQL、Oracle内建函数对照表
本文为您提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表，方便您根据Hive、MySQL、Oracle内建函数查找对应的MaxCompute内建函数。日期函数 MaxCompute Hive MySQL Oracle DATEADD 无 无 无 DATE_ADD DATE_ADD DATE_ADD 无 DATE_...
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
OSS外部表根据字段名称Mapping数据
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
BITWISE_OR_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
BITWISE_AND_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
HISTOGRAM
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
迁移Oracle数据至MaxCompute最佳实践
验证结果 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中配置节点基本信息，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您...
INITCAP
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
TRANSFORM_KEYS
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。input：必填。MAP对象。map,V>中的 K1、V 指代MAP对象的Key、Value。func：必填...
向量计算（Proxima CE）概述
DataWorks：您可以在DataWorks上新建MaxCompute ODPS MR节点，通过ODPS SQL脚本来运行。使 用向导 安装Proxima CE包。使用向量计算之前您需要安装Proxima CE包，详细操作请参见 安装Proxima CE包。该文档为您介绍Proxima CE的环境准备及...
JSON数据从MongoDB迁移至MaxCompute
验证结果 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*from mqdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
MAP_AGG
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
MapReduce支持SQL运行时执行模式
新版本MaxCompute支持将MapReduce作业指定为SQL运行时执行模式，基于SQL运行时，MapReduce可以使用MaxCompute SQL引擎编译器、基于代价的优化器和向量化执行的执行引擎，同时可以复用SQL引擎开发的各种新特性，包括功能、性能、稳定性等...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
2019年
2019-10-28 全部区域 SELECT语法 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias 支持 odps.sql.orderby.position.alias 以及 odps.sql.groupby.position.alias，对应ORDER BY和GROUP BY中的整型常量被当做...
MaxCompute TIMESTAMP_NTZ数据类型
MaxCompute Project时区默认是中国的东八区（Asia/Shanghai），通过以下命令返回的odps.sql.timezone属性，确认前时区 setproject;若当前项目非东八区，执行以下代码 SET odps.sql.timezone=Asia/Shanghai;定义包含TIMESTAMP字段类型的表 ...
通过DataWorks实现MaxCompute跨项目迁移
在 数据源管理 页面，单击右上角 新增数据源，并选择 MaxCompute(ODPS)。填写您的 数据源名称、ODPS项目名称、AccessKey ID、AccessKey Secret 等信息，单击 完成，详情请参见 配置MaxCompute数据源。创建数据同步任务。创建数据同步任务...
Elasticsearch数据迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
SQL其他常见问题
在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...
MAP_UNION_SUM
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
GREATEST
当 set odps.sql.hive.compatible=true;时，任意参数输入为NULL，返回结果为NULL。相关文档 GREATEST函数属于其他函数，更多其他业务场景的函数请参见 其他函数。如果此函数不满足需求，MaxCompute还支持自定义函数。有关自定义函数的详细...
- 产品推荐
- 这些文档可能帮助您