SQL其他常见问题
在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据类型自动隐式转换，如何解决？查询数据时，提示XXXtypeisnotenabled ...
SET
odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。odps.sql.type.system.odps2 2.0新数据类型开关。2.0...
SETPROJECT
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
Flag参数列表
ALL SQL Session odps.sql.reshuffle.dynamicpt 动态分区开关，以避免拆分动态分区时产生过多小文件。True：打开。False：关闭。说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL ...
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
数据倾斜调优
这种方案是一个比较常规的使用方案，MaxCompute提供数据倾斜设置参数 set odps.sql.skewjoin=true;开启SkewJoin功能，使用时如果只开启SkewJoin，实际上这样对于任务的运行并不会有任何影响，还必须设置 odps.sql.skewinfo 参数才会有效，...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
开发ODPS SQL任务
编辑代码：进阶示例 更复杂的ODPS SQL任务示例如下：与标准SQL的主要区别及解决方法 MaxCompute SQL中的关联操作 JSON数据从OSS迁移至MaxCompute 基于GitHub公开事件数据集的离线实时一体化实践 基于MaxCompute UDF将IPv4或IPv6地址转换为...
配置MaxCompute Studio
MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上，单击 MaxCompute Studio>MaxCompute SQL，进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息：语法高亮 选中 Enable syntax coloring，启动语法高亮功能...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
2021年
2021-08-31 全部地域 复杂类型函数 日期与时间函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。...
MaxCompute作业概述
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
2019年
PyODPS参数传递 2019-07-12 新增set命令odps-sql-reshuffle-dynamicpt说明。新命令 该命令用于设置动态分区，以避免拆分动态分区时产生过多小文件。SET操作 2019-07-11 新增tablestore-columns-mapping说明点。新说明 在指定映射时，提供的...
CREATE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。DESC FUNCTION：查看MaxCompute项目中指定自定义函数的信息，包含函数名称、所有者...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
PyODPS参数传递
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
建立性能基准
记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务完成运行后，可在运行日志中查看到运行时间。icmsDocProps={'...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
使用SQL管理外部项目
与常规MaxCompute SQL不同的是，External Project表需要以 external_project_name.table_name 格式引用。目前暂不支持在外部项目中创建表。向表中插入数据。向非分区表插入数据。进入关联的MaxCompute项目（非外部项目）。use doc_test_...
PyODPS查看一级分区
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
统计MaxCompute TOPN费用账号及耗时作业
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...
JSON数据从OSS迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建函数 对话框中，输入 函数名称，单击 新建。在ODPS SQL节点编辑页面输入如下语句。查询表mq_data数据。SELECT*from mqdata;获取JSON文件中的EXPENSIVE值。SELECT GET_JSON_...
概述
管理MaxCompute项目，相关文档如下：DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 注意事项 通过MaxCompute JDBC驱动执行SQL并获取结果，需要执行账号满足以下要求：是项目空间的成员。有项目空间的...
MaxCompute后付费消费突增排查
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心，在...
SQL
PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
PyODPS读取分区表数据
0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称，并单击 确认。在ODPS ...
迁移Oracle数据至MaxCompute最佳实践
验证结果 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中配置节点基本信息，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您...
Paimon外部表
步骤三：通过MaxCompute创建Paimon外表 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，创建MaxCompute Paimon外部表。本文以 oss_extable_paimon_1 为例。create external table oss_extable_paimon_1(dt STRING,id ...
Python 2 UDAF
MaxCompute SQL Type Python 2 Type BIGINT INT STRING STR DOUBLE FLOAT BOOLEAN BOOL DATETIME INT FLOAT FLOAT CHAR STR VARCHAR STR BINARY BYTEARRAY DATE INT DECIMAL DECIMAL.DECIMAL ARRAY LIST MAP DICT STRUCT COLLECTIONS....
多路输出（MULTI INSERT）
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接...
GETDATE
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
使用Kafka（离线与实时）
set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的mode值为VALUE，所以只保留value的内容，key字段为NULL+-+-+-+-+-+-+|topic|partition|offset|key|value|pt|+-...
使用MaxCompute分析IP来源最佳实践
在SQL中使用UDF函数分析IP来源 右键单击 业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面，输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...
MULTI INSERT
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。前提条件 执行操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
- 产品推荐
- 这些文档可能帮助您