APPROX_DISTINCT
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
COVAR_POP
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
合并小文件
PyODPS脚本合并 通过PyODPS异步提交任务，合并前一天任务产出的小文件，脚本示例如下：import os from odps import ODPS#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量...
项目管理（新版）
单SQL消费限制 设置单SQL消费的最高阈值，即为设置 odps.sql.metering.value.max 属性，详细内容请参见 消费监控告警。单位：扫描量（GB）*复杂度。存储加密状态 此项目前仅能查看，不可编辑，项目是否加密仅在创建项目时进行定义。是否需...
MaxCompute UDF（Java）常见问题
如果是Java代码本身报错，可以在调整上述参数的同时，通过 set odps.sql.udf.jvm.memory=xxx;参数调大Jvm内存。更多参数详细信息，请参见 SET操作。UDTF相关问题 调用Java UDTF运行代码时的常见问题如下：问题现象一：运行报错描述为 ...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
搭建Windows开发环境
spark.sql.catalogImplementation={odps|hive}#如下参数配置保持不变 spark.hadoop.odps.task.major.version=cupid_v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper ...
Spark访问湖仓一体外部数据源
MaxCompute Spark访问外部项目表-配置项-当前默认关闭对于外表和外部project的支持，需要手动打开 spark.sql.odps.enableExternalTable=true spark.sql.odps.enableExternalProject=true;指定spark版本 spark.hadoop.odps.spark.version=...
搭建Linux开发环境
spark.sql.catalogImplementation={odps|hive}#如下参数配置保持不变 spark.hadoop.odps.task.major.version=cupid_v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper ...
Java SDK介绍
try { i=SQLTask.run(odps,sql);i.waitForSuccess();List<Record>records=SQLTask.getResult(i);for(Record r:records){ System.out.println(r.get(0).toString());} } catch(OdpsException e){ e.printStackTrace();} } } 说明 每次只能...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。...通过MaxCompute提交的普通SQL查询，作业类型 是 SQL。如上规则项也可以结合起来使用，实现更细粒度的作业调度控制。
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
项目级别Information Schema
对于使用按量计费计算资源的项目，针对Information Schema视图的查询会产生查询费用，查询视图的SQL产生的费用按视图底层展开的SQL进行计费。Information Schema视图为了提升查询性能底层统一通过 Range聚簇表 进行优化，减少查询输入量。...
将云消息队列 Kafka 版的数据迁移至MaxCompute
在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。在 新建节点 对话框中，输入 名称。说明 节点名称的长度不能超过128个字符。单击 确认。在创建的节点页面，输入 select*from testkafka，单击 图标，运行完成后，查看运行...
DQL操作常见问题
子查询 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？交集、并集和补集 ...
公开数据集概述
由于公开数据集项目支持按Schema存储，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。详细表信息 公开项目BIGDATA_PUBLIC_DATASET各Schema中的表详细...
Common错误码（ODPS-00CCCCX）
ODPS-0010000:System internal error-SQL Runtime Internal Error:ODPS-0123031:0 SQL语句写入动态分区数过多。优化SQL语句。ODPS-0010000:System internal error-enable python sandbox failed 0 内部错误。ODPS-0010000:System internal ...
Github公开事件数据
由于公开数据集项目支持按Schema存储，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。使用MaxCompute探索GitHub公开事件数据 前提条件 已开通MaxCompute...
使用限制
PyODPS限制 在MaxCompute中基于DataWorks开发PyODPS作业时的使用限制如下：PyODPS节点获取本地处理的数据不能超过50 MB，节点运行时占用内存不能超过1 GB，否则节点任务会被系统中止。请避免在PyODPS任务中添加额外的Python数据处理代码。...
MaxCompute TIMESTAMP_NTZ数据类型
设置odps.sql.timestamp.function.ntz为true SET odps.sql.timestamp.function.ntz=true;调用3个函数 SELECT current_timestamp()AS current_result,from_utc_timestamp(0L,'UTC')AS from_result,to_utc_timestamp(0L,'UTC')as to_result;...
PyODPS使用第三方包
本文为您介绍如何在PyODPS中使用第三方包。PyODPS制作第三方包的操作请参见 PyODPS制作第三方包。前提条件 已开通MaxCompute产品。如何开通请参见 开通MaxCompute。已开通DataWorks产品。如何开通请参见 开通DataWorks。上传三方包 使用...
使用Kafka（离线与实时）
通过 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，执行如下命令，查询数据写入结果。set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的...
安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
MapReduce支持SQL运行时执行模式
MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...
准备工作
from odps import_version_as odps_version from mars import_version_as mars_version print(odps_version)print(mars_version)odps_version 为PyODPS版本，要求PyODPS为0.9.3.1以上版本。mars_version 为Mars版本，要求Mars为0.4.4以上...
时区配置操作
您可以通过以下两种方式配置时区：Session级别：执行 SET odps.sql.timezone=;语句，需要与计算语句一起提交。设置时区为Asia/Tokyo。SET odps.sql.timezone=Asia/Tokyo;查询当前时区。SELECT getdate();output:+-+|_c0|+-+|2018-10-30 23:...
错误码概述
MaxCompute提供错误码机制帮助您快速...错误码列表 各类别的错误码列表、触发条件及处理方法请参见：Common错误码（ODPS-00CCCCX）SQL错误码（ODPS-01CCCCX）PL错误码（ODPS-02CCCCX）API错误码（ODPS-04CCCCX）Xlib错误码（ODPS-05CCCCX）
PL错误码（ODPS-02CCCCX）
ODPS-0220115:DEPLException from SQL statement SEMANTIC 5 SQL执行异常。检查SQL语法正确性。ODPS-0220125:Illegal assignment SEMANTIC 5 不合法的变量赋值。修改变量赋值，确保合法。ODPS-0220135:Illegal argument value SEMANTIC 5 ...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
开发PyODPS脚本
新建MaxCompute PyODPS脚本后，PyODPS脚本模板会通过PyODPS Room自动初始化 odps 和 o 两个对象。通过DataWorks开发PyODPS脚本时，系统会自动创建Room。通过IntelliJ IDEA开发PyODPS脚本时，需要创建Room，详情请参见 PyODPS文档。
获取任务执行进度示例
Instance instance=SQLTask.run(odps,project,sql,taskName,null,null);System.out.println("LogView:"+new LogView(odps).generateLogView(instance,24)+"");instance.getTaskDetailJson2(taskName)CompletableFuture<Void>future=...
2023年
本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。在本地环境上使用PyODPS 2023-09-01 新增Lambda函数 新说明 Lambda是一种匿名函数，不需要命名，可以作为参数传递给其他函数或方法。本文介绍Lambda函数的使用...
运行模式
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class com.aliyun.odps.spark.examples.SparkPi \ /path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jarDataWorks执行模式 您可以在DataWorks中...
项目空间
使用DataWorks：创建好PyODPS 2节点或PyODPS 3节点，详情请参见 通过DataWorks使用PyODPS。使用本地PC环境：安装好PyODPS并初始化ODPS入口对象。获取项目空间 使用MaxCompute入口对象的 get_project()方法获取项目空间。project=o.get_...
PyODPS制作第三方包
PyODPS自V0.11.3版本开始提供了 pyodps-pack 命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似 pip 命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz 的压缩包，其中包含所有依照MaxCompute...
Spark常见问题
在DataWorks上运行ODPS Spark节点的步骤是什么？MaxCompute Spark如何在本地进行调试？如何通过Spark访问VPC环境内的服务？如何把JAR包当成资源来引用？如何通过Spark传入参数？如何将Spark流式读取的DataHub数据写入MaxCompute？如何将...
报错FAILED:ODPS-0420061:Invalid parameter in ...
您可以执行如下SQL语句来整合小文件：set odps.merge.cross.paths=true;set odps.merge.max.partition.count=100;默认优化10个分区，此时设置为优化100个分区。ALTER TABLE 表名[partition]MERGE SMALLFILES;相关参考 开通MaxCompute 创建...
PyODPS节点实现避免将数据下载到本地
本文为您介绍PyODPS如何避免将数据下载到本地。背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此，在设备允许的情况下，可以把数据下载到本地处理，然后再上传至MaxCompute。但是这种操作非常低效，数据下载到本地进行处理，无法...
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
- 产品推荐
- 这些文档可能帮助您