MapReduce错误码（ODPS-07CCCCX）
ODPS-07CCCCX:通用描述-上下文相关说明 MapReduce错误包含META（CCCC段为1000~1999）、PARSER（CCCC段为2000~2999）、INTERNAL（CCCC段为3000~3999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0720001:...
API错误码（ODPS-04CCCCX）
ODPS-04CCCCX:通用描述-上下文相关说明 API错误包含Web（CCCC段为1000~1999）、Worker（CCCC段为2000~2999）、Scheduler（CCCC段为3000~3999）、Executor（CCCC段为4000~4999）和Message Service（CCCC段为5000~5999）模块错误。...
Java SDK介绍
Odps odps=new Odps(account);String odpsUrl="<yourodps endpoint>;odps.setEndpoint(odpsUrl);odps.setDefaultProject("my_project");for(Table t:odps.tables()){.} 批量数据通道 MaxCompute Tunnel数据通道是基于Tunnel SDK编写的。您...
ODPS-0130241
错误码：ODPS-0130241:Illegal union operation 错误1：Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column ...
ODPS-0130013
错误码：ODPS-0130013:Authorization exception 错误1：Authorization Failed[4011],You have NO privilege 'odps:Select' on {acs:odps:*:projects/<project_name>/tables/<table_name>}.Explicitly denied by policy.Context ID:...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
PL错误码（ODPS-02CCCCX）
ODPS-02CCCCX:通用描述-上下文相关说明 PL错误包含CLIENT\LEXER\PARSER（CCCC段为1000~1999）和SEMANTIC（CCCC段为2000~2999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0210001:Unable to open input ...
SQL错误码（ODPS-01CCCCX）
FAILED:ODPS-0130071:[1,27]Semantic analysis exception-TIMESTAMP type is not enabled in current mode.Please set odps.sql.type.system.odps2=true to use it.产生原因：SQL语句中使用的内建函数涉及2.0数据类型（TINYINT、SMALLINT、...
ODPS-0010000
错误码：ODPS-0010000:System internal error 错误1：fuxi job failed,caused by:kWorkerOutOfMemory(errCode:256)at Odps/xxx/xxx.Detail error msg:KILL_NAKILL_NA:plannedResource({Memory=xxx,CPU=xxx})usedResource({Memory=xxx,CPU=...
Spark Connector
在Spark的 conf 目录下创建 spark-defaults.conf 文件：cd$SPARK_HOME/conf vim spark-defaults.conf 文件内容示例如下：#在spark-defaults.conf配置账号 spark.hadoop.odps.project.name=doc_test spark.hadoop.odps.access.id=L*spark....
SET
odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在...
Common错误码（ODPS-00CCCCX）
ODPS-00CCCCX:通用描述-上下文相关说明 Common错误包含系统错误、用户非法请求和无权限三种。三种错误类型都有对应的 CCCC 编码段，系统异常错误以1开头，用户非法请求错误以2开头，无权限错误以3开头。具体错误码列表如下。错误码 类别 ...
普通模式和Hive兼容模式下SQL的差异
普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from values(-9223372036854775807L,-9223372036854775792L)t(a,b);返回NULL Hive兼容模式 set odps.sql.hive.compatible=true;select cast((a&b)as string)from ...
Flag参数列表
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...
运行安全命令示例
Odps odps=new Odps(account);odps.setEndpoint("http://service-corp.odps.aliyun-inc.com/api");odps.setDefaultProject("<your_project>");set label 2 to table columns SecurityManager securityManager=odps.projects().get()....
简单下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);TableTunnel tunnel=new TableTunnel(odps);tunnel.setEndpoint(tunnelUrl);设置tunnelUrl。PartitionSpec partitionSpec=new PartitionSpec...
数据输入输出
processed_df.to_odps_table("test_processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
报错FAILED:ODPS-0420095:Access Denied-The task is ...
本文为您介绍 ODPS-0420095:Access Denied-The task is not in release range:Merge 的报错原因及处理方法。问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge....
Xlib错误码（ODPS-05CCCCX）
ODPS-05CCCCX:通用描述-上下文相关说明 Xlib错误包含CLIENT/SDK（CCCC段为1000~1999）、TASK（CCCC段为2000~2999）、MPI（CCCC段为3000~3999）和ALGORITHM（CCCC段为4000~4999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
ODPS-0130071
错误码：ODPS-0130071:Semantic analysis exception 错误1：the number of input partition columns(n)doesn't equal to table's partition columns(m)错误信息示例 FAILED:ODPS-0130071:[m,n]Semantic analysis exception-the number of ...
多线程上传示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);UploadSession uploadSession=...
项目空间操作
true：打开 false：关闭 odps.sql.decimal.odps2 DECIMAL 2.0数据类型 DECIMAL(precision,scale)开关。详情请参见 2.0数据类型版本。true：打开 false：关闭 odps.timemachine.retention.days 设置备份数据的保留天数。详情请参见 备份与...
StarRocks Connector
StarRocks Connector通过实现External Catalog...创建catalog CREATE EXTERNAL CATALOG odps_catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"=...
将数据写入OSS
odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下：取值为False：MaxCompute写入到OSS外部表的数据，会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件，用于保证MaxCompute数据的...
复杂数据类型上传下载示例
Odps odps=new Odps(account);odps.setEndpoint(odpsUrl);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);PartitionSpec partitionSpec=new PartitionSpec(partition);上传数据-/为表创建上传会话。表...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 odps:CreateProject CreateProject Write Project acs:odps:{#regionId}:{#accountId}:project/*odps:Encryption 无 odps:CreateQuotaPlan CreateQuotaPlan Write 全部资源*无 无 odps:...
使用Counter示例
hello,odps 测试步骤 在MaxCompute客户端中执行UserDefinedCounters。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.UserDefinedCounters wc_in wc_out预期...
RAM用户登录并使用DataWorks
DataWorks已不需要强制使用AccessKey，如果您有场景需要使用AccessKey，主账号可为RAM用户创建AccessKey ID和AccessKey Secret。确认主账号已经允许RAM用户启用控制台登录。如果上述信息无法确认，请首先保证所属主账号满足以下条件：已经...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
创建并管理MaxCompute节点
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。前提条件 已创建业务流程...
ListFileType
常用的代码及名称类型对应关系如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、...
配置代码模板
引擎类型 节点类型 默认模板 MaxCompute ODPS Script ODPS SQL ODPS MR PyODPS 2 PyODPS 3 EMR EMR MR EMR Shell EMR Presto EMR Spark Streaming EMR Trino EMR Hive EMR Spark EMR Spark SQL EMR Impala CDH CDH Hive CDH Spark CDH MR ...
数据开发与运行
本文为您介绍数据开发的相关问题...说明 DataWorks只支持下载1W条数据，超过1W的数据需要通过tunnel下载，下载时需要instanceid、在运行任务的时候在odps sql节点编辑器里加上 set odps.mcqa.disable=true;（需要和其他select语句一块执行）。
- 产品推荐
- 这些文档可能帮助您