MapReduce错误码（ODPS-07CCCCX）
ODPS-07CCCCX:通用描述-上下文相关说明 MapReduce错误包含META（CCCC段为1000~1999）、PARSER（CCCC段为2000~2999）、INTERNAL（CCCC段为3000~3999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0720001:...
API错误码（ODPS-04CCCCX）
ODPS-04CCCCX:通用描述-上下文相关说明 API错误包含Web（CCCC段为1000~1999）、Worker（CCCC段为2000~2999）、Scheduler（CCCC段为3000~3999）、Executor（CCCC段为4000~4999）和Message Service（CCCC段为5000~5999）模块错误。...
Java SDK介绍
Odps odps=new Odps(account);String odpsUrl="<yourodps endpoint>;odps.setEndpoint(odpsUrl);odps.setDefaultProject("my_project");for(Table t:odps.tables()){.} 批量数据通道 MaxCompute Tunnel数据通道是基于Tunnel SDK编写的。您...
ODPS-0130241
错误码：ODPS-0130241:Illegal union operation 错误1：Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column ...
ODPS-0130013
错误码：ODPS-0130013:Authorization exception 错误1：Authorization Failed[4011],You have NO privilege 'odps:Select' on {acs:odps:*:projects/<project_name>/tables/<table_name>}.Explicitly denied by policy.Context ID:...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
PL错误码（ODPS-02CCCCX）
ODPS-02CCCCX:通用描述-上下文相关说明 PL错误包含CLIENT\LEXER\PARSER（CCCC段为1000~1999）和SEMANTIC（CCCC段为2000~2999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0210001:Unable to open input ...
SQL错误码（ODPS-01CCCCX）
FAILED:ODPS-0130071:[1,27]Semantic analysis exception-TIMESTAMP type is not enabled in current mode.Please set odps.sql.type.system.odps2=true to use it.产生原因：SQL语句中使用的内建函数涉及2.0数据类型（TINYINT、SMALLINT、...
ODPS-0010000
错误码：ODPS-0010000:System internal error 错误1：fuxi job failed,caused by:kWorkerOutOfMemory(errCode:256)at Odps/xxx/xxx.Detail error msg:KILL_NAKILL_NA:plannedResource({Memory=xxx,CPU=xxx})usedResource({Memory=xxx,CPU=...
Spark Connector
在Spark的 conf 目录下创建 spark-defaults.conf 文件：cd$SPARK_HOME/conf vim spark-defaults.conf 文件内容示例如下：#在spark-defaults.conf配置账号 spark.hadoop.odps.project.name=doc_test spark.hadoop.odps.access.id=L*spark....
Common错误码（ODPS-00CCCCX）
ODPS-00CCCCX:通用描述-上下文相关说明 Common错误包含系统错误、用户非法请求和无权限三种。三种错误类型都有对应的 CCCC 编码段，系统异常错误以1开头，用户非法请求错误以2开头，无权限错误以3开头。具体错误码列表如下。错误码 类别 ...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
Flag参数列表
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...
运行安全命令示例
Odps odps=new Odps(account);odps.setEndpoint("http://service-corp.odps.aliyun-inc.com/api");odps.setDefaultProject("<your_project>");set label 2 to table columns SecurityManager securityManager=odps.projects().get()....
简单下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);TableTunnel tunnel=new TableTunnel(odps);tunnel.setEndpoint(tunnelUrl);设置tunnelUrl。PartitionSpec partitionSpec=new PartitionSpec...
数据输入输出
processed_df.to_odps_table("test_processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
报错FAILED:ODPS-0420095:Access Denied-The task is ...
本文为您介绍 ODPS-0420095:Access Denied-The task is not in release range:Merge 的报错原因及处理方法。问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge....
Xlib错误码（ODPS-05CCCCX）
ODPS-05CCCCX:通用描述-上下文相关说明 Xlib错误包含CLIENT/SDK（CCCC段为1000~1999）、TASK（CCCC段为2000~2999）、MPI（CCCC段为3000~3999）和ALGORITHM（CCCC段为4000~4999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
多线程上传示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);UploadSession uploadSession=...
项目空间操作
true：打开 false：关闭 odps.sql.decimal.odps2 DECIMAL 2.0数据类型 DECIMAL(precision,scale)开关。详情请参见 2.0数据类型版本。true：打开 false：关闭 odps.timemachine.retention.days 设置备份数据的保留天数。详情请参见 备份与...
StarRocks Connector
StarRocks Connector通过实现External Catalog...创建catalog CREATE EXTERNAL CATALOG odps_catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"=...
将数据写入OSS
odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下：取值为False：MaxCompute写入到OSS外部表的数据，会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件，用于保证MaxCompute数据的...
复杂数据类型上传下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);上传数据-/为表创建上传会话。表...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 odps:CreateProject CreateProject Write Project acs:odps:{#regionId}:{#accountId}:project/*odps:Encryption 无 odps:CreateQuotaPlan CreateQuotaPlan Write 全部资源*无 无 odps:...
使用Counter示例
hello,odps 测试步骤 在MaxCompute客户端中执行UserDefinedCounters。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.UserDefinedCounters wc_in wc_out预期...
自动化治理-物化视图
DataWorks数据开发模块中绑定的MaxCompute项目，开启物化视图推荐后，当需要满足以下条件时，将会在物化视图推荐页面生成物化视图推荐。周期任务连续运行3天以上。公共子查询中的输入数据量大于1000000。公共子查询中需要包含JOIN或AGG...
电商网站智能推荐
概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据仓库，并通过DataWorks进行数据同步和处理，使用智能推荐产品搭建电商网站智能推荐系统。电商行业需要向用户推荐的物品包括物流信息、售卖...
DataWorks各版本详解
DataWorks各版本推荐应用场景 DataWorks各版本的主要功能和推荐应用的场景如下表。说明 DataWorks各版本支持的功能详情，请参见 DataWorks各版本支持的功能详情。DataWorks版本 推荐应用场景说明 基础版 开通DataWorks按量付费后，即可免费...
购买指引
说明 本文为您概要介绍DataWorks的计费体系和不同场景下的购买推荐，DataWorks全量的计费逻辑介绍请参见 计费逻辑说明。DataWorks计费体系概览 DataWorks的计费体系如下图所示。可见，DataWorks的计费组成可分为功能费用和资源费用两类，...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
创建并管理MaxCompute节点
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。前提条件 已创建业务流程...
ListFileType
常用的代码及名称类型对应关系如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、...
配置代码模板
引擎类型 节点类型 默认模板 MaxCompute ODPS Script ODPS SQL ODPS MR PyODPS 2 PyODPS 3 EMR EMR MR EMR Shell EMR Presto EMR Spark Streaming EMR Trino EMR Hive EMR Spark EMR Spark SQL EMR Impala CDH CDH Hive CDH Spark CDH MR ...
- 产品推荐
- 这些文档可能帮助您