Python SDK示例：SQL
from odps import options options.sql.settings={'odps.sql.mapper.split.size':16} o.execute_sql('select*from pyodps_iris')#会根据全局配置添加hints 读取SQL执行结果 运行SQL的Instance能够直接执行 open_reader 操作读取SQL执行结果...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
Tablestore外部表
SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_external WHERE odps_orderkey>5000 AND odps_orderkey< 7000 ANDodps_orderdate>='1996-05-03' AND odps_orderdate< '1997-05-01' GROUP BYodps_...
ODPS-0010000
错误码：ODPS-0010000:System internal error 错误1：fuxi job failed,caused by:kWorkerOutOfMemory(errCode:256)at Odps/xxx/xxx.Detail error msg:KILL_NAKILL_NA:plannedResource({Memory=xxx,CPU=xxx})usedResource({Memory=xxx,CPU=...
Spark Connector
在Spark的 conf 目录下创建 spark-defaults.conf 文件：cd$SPARK_HOME/conf vim spark-defaults.conf 文件内容示例如下：#在spark-defaults.conf配置账号 spark.hadoop.odps.project.name=doc_test spark.hadoop.odps.access.id=L*spark....
UDF开发（Java）
使用DataWorks开发调试UDF时，您需要先开通DataWorks并绑定MaxCompute项目，做好UDF开发前准备工作。操作详情请参见 使用DataWorks连接。编写UDF代码。您可以在任意Java开发工具中开发UDF代码并打包为一个JAR包。您可以使用以下UDF代码示例...
创建DataFrame
前提条件 操作下述代码示例前，您需要先准备好示例表 pyodps_iris，详细操作请参见 Dataframe数据处理。背景信息 在使用DataFrame时，您需要了解 Collection（DataFrame）、Sequence 和 Scalar 三类对象的操作。三类对象分别表示表结构...
Common错误码（ODPS-00CCCCX）
ODPS-00CCCCX:通用描述-上下文相关说明 Common错误包含系统错误、用户非法请求和无权限三种。三种错误类型都有对应的 CCCC 编码段，系统异常错误以1开头，用户非法请求错误以2开头，无权限错误以3开头。具体错误码列表如下。错误码 类别 ...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...
运行安全命令示例
Odps odps=new Odps(account);odps.setEndpoint("http://service-corp.odps.aliyun-inc.com/api");odps.setDefaultProject("<your_project>");set label 2 to table columns SecurityManager securityManager=odps.projects().get()....
简单下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);TableTunnel tunnel=new TableTunnel(odps);tunnel.setEndpoint(tunnelUrl);设置tunnelUrl。PartitionSpec partitionSpec=new PartitionSpec...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
StarRocks Connector
StarRocks Connector通过实现External Catalog...创建catalog CREATE EXTERNAL CATALOG odps_catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"=...
数据输入输出
processed_df.to_odps_table("test_processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table...
PyODPS节点实现避免将数据下载到本地
本文为您介绍PyODPS如何避免将数据下载到本地。背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此，在设备允许的情况下，可以把数据下载到本地处理，然后再上传至MaxCompute。但是这种操作非常低效，数据下载到本地进行处理，无法...
多线程上传示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);UploadSession uploadSession=...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
报错FAILED:ODPS-0420095:Access Denied-The task is ...
本文为您介绍 ODPS-0420095:Access Denied-The task is not in release range:Merge 的报错原因及处理方法。问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge....
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 odps:CreateProject CreateProject Write Project acs:odps:{#regionId}:{#accountId}:project/*odps:Encryption 无 odps:CreateQuotaPlan CreateQuotaPlan Write 全部资源*无 无 odps:...
使用Apache Airflow调度MaxCompute
odps=ODPS(cfg.get("odps",os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID')),cfg.get("odps",os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')),cfg.get("odps","project"),cfg.get("odps","endpoint"))default_args={ 'owner':'airflow','depends...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
复杂数据类型上传下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);上传数据-/为表创建上传会话。表...
使用Counter示例
hello,odps 测试步骤 在MaxCompute客户端中执行UserDefinedCounters。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.UserDefinedCounters wc_in wc_out预期...
开发PyODPS脚本
新建MaxCompute PyODPS脚本后，PyODPS脚本模板会通过PyODPS Room自动初始化 odps 和 o 两个对象。通过DataWorks开发PyODPS脚本时，系统会自动创建Room。通过IntelliJ IDEA开发PyODPS脚本时，需要创建Room，详情请参见 PyODPS文档。
SQL
PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...
PyODPS DataFrame的代码运行环境
代码示例 from odps import ODPS,options import numpy as np o=ODPS(.)df=o.get_table('pyodps_iris').to_df()coeffs=[0.1,0.2,0.4]def handle(v):import numpy as np return float(np.cosh(v))*sum(coeffs)options.df.supersede_...
ODPS-0420095
错误码：ODPS-0420095:Access Denied 错误1：You have no privilege to create external project-you have to be owner,super admin or admin of the referred project.错误信息 ODPS-0420095:Access Denied-You have no privilege to ...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
创建并管理MaxCompute节点
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。前提条件 已创建业务流程...
ListFileType
常用的代码及名称类型对应关系如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、...
DataWorks产品购买方式升级
尊敬的DataWorks用户：为了帮助您更高效地管理DataWorks产品，DataWorks公共云基础版产品将于2023年10月18日开始逐步进行升级优化。说明 温馨提醒：该升级并不会对您正在运行的DataWorks调度任务造成影响。升级前 阿里云账号下仅需保有...
迁移助手与迁云服务
跨云开发：支持公共云的DataWorks和私有云的DataWorks之间进行互导，达到协同开发。计费 开通DataWorks后即可使用迁移助手功能，但不同版本的DataWorks计费及支持的功能细节存在差异。开通DataWorks及DataWorks各版本详情，请参见 ...
引擎运维
如果E-MapReduce作业长期处于运行状态，即作业状态显示为 RUNNING，则您可以勾选目标作业，单击 引擎运维 页面左下角的 终止运行对应的DataWorks实例，终止运行目标作业所在的DataWorks实例任务。该类作业往往是由于运行内部出错，导致作业...
使用PyODPS节点进行结巴中文分词
如您需进行文本分析、信息检索、文本挖掘与特征提取、构建搜索引擎、机器翻译、训练语言模型等场景应用，则可通过DataWorks的PyODPS节点使用开源结巴中文分词工具，将中文文本分割为词语，进行相关文本的分析处理。同时，若默认词库无法...
- 产品推荐
- 这些文档可能帮助您