权限问题
MaxCompute表无Download权限 报错信息 解决方法 在DataWorks的 数据地图 中搜索对应的MaxCompute表，并申请开通其Download权限，运行时则可以下载相应的数据。MaxCompute表无Describe、Select等权限 报错信息 解决方法 申请对应Project下的...
Common错误码（ODPS-00CCCCX）
本文为您介绍Common错误码列表、触发条件及处理方法。...使用Python 2编写自定义函数，或者在SQL语句中增加 limit 关键字，将作业拆分为Map和Reduce两个Stage。ODPS-0030001:Authorization exception 无权限 1 权限问题。需要完成授权操作。
大量数据导出方案
概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用 Tunnel 直接导出查询结果。如果SQL比较复杂，请使用Tunnel和SQL相互配合导出查询结果。DataWorks ...
ODPS-0130071
错误码：ODPS-0130071:Semantic analysis exception 错误1：the number of input partition columns(n)doesn't equal to table's partition columns(m)错误信息示例 FAILED:ODPS-0130071:[m,n]Semantic analysis exception-the number of ...
管理IP白名单
odps.security.ip.whitelist=192.168.0.0 odps.security.vpc.whitelist=实例id>[192.168.0.10,192.168.0.20]说明 如果您使用之前区域ID和VPC ID的方式配置的VPC网络IP白名单，返回结果示例如下：odps.security.vpc.whitelist=...
搭建Windows开发环境
spark.sql.catalogImplementation={odps|hive}#如下参数配置保持不变 spark.hadoop.odps.task.major.version=cupid_v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper ...
项目空间操作
odps.security.enabledownloadprivilege 设置项目是否开启Download权限控制方案，开启后能够对角色或用户使用Tunnel下载表和实例的行为进行管控，提升项目数据安全性，避免出现数据泄露情况。详情请参见 Download权限控制。true：开启...
多线程上传示例
本文通过代码示例向您介绍如何使用TableTunnel接口实现多线程上传。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.concurrent.Callable;import java.util.concurrent.ExecutorService;...
报错FAILED:ODPS-0420095:Access Denied-The task is ...
问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge.max.partition.count=100;默认优化10个分区，此时设置为优化100个分区。ALTER TABLE 表名[partition]MERGE ...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
使用Apache Airflow调度MaxCompute
odps=ODPS(cfg.get("odps",os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID')),cfg.get("odps",os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')),cfg.get("odps","project"),cfg.get("odps","endpoint"))default_args={ 'owner':'airflow','depends...
基本操作概述
PyODPS提供直接针对ODPS对象的基本操作接口，您可以使用符合Python习惯的编程方式操作MaxCompute。PyODPS的基本操作主要包括以下几个部分：SQL 项目空间 Schema 表 任务实例 资源 函数 基本操作命令中涉及到的方法详细说明请参见 ...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 odps:CreateProject CreateProject Write Project acs:odps:{#regionId}:{#accountId}:project/*odps:Encryption 无 odps:CreateQuotaPlan CreateQuotaPlan Write 全部资源*无 无 odps:...
StarRocks Connector
StarRocks Connector通过实现External Catalog...创建catalog CREATE EXTERNAL CATALOG odps_catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"=...
简单上传示例
本文为您介绍如何使用StreamUploadSession和StreamRecordPack接口上传数据。典型的表数据上传流程 创建TableTunnel。创建StreamUploadSession。创建StreamRecordPack，写入Record。提交上传。示例 import java.io.IOException;import java....
将数据写入OSS
odps.sql.unstructured.oss.commit.mode 可以在Project和Session级别进行设置：使用如下命令在Project级别设置，作用于整个Project。setproject odps.sql.unstructured.oss.commit.mode=true;使用如下命令在Session级别设置，只对当前任务...
使用Counter示例
本文为您介绍MapReduce的使用Counter示例。测试准备 准备好测试程序的JAR包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好UserDefinedCounters测试表和资源。创建测试表。create table wc_in(key string,...
多线程下载示例
本文通过代码示例向您介绍如何使用TableTunnel接口实现多线程下载，暂不支持其他接口使用多线程下载。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.List;import java.util.concurrent....
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
使用资源示例
本文为您介绍MapReduce的使用资源示例。测试准备 准备好测试程序的Jar包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。在MaxCompute客户端中执行如下操作，准备好测试表和资源。创建测试表。create table mr_...
多线程上传示例
本文为您介绍如何使用StreamUploadSession和StreamRecordPack接口实现多线程上传。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.concurrent.Callable;import java.util.concurrent....
ODPS-0420095
错误码：ODPS-0420095:Access Denied 错误1：You have no privilege to create external project-you have to be owner,super admin or admin of the referred project.错误信息 ODPS-0420095:Access Denied-You have no privilege to ...
准备工作
from odps import_version_as odps_version from mars import_version_as mars_version print(odps_version)print(mars_version)odps_version 为PyODPS版本，要求PyODPS为0.9.3.1以上版本。mars_version 为Mars版本，要求Mars为0.4.4以上...
RAM权限策略管理
说明 如果RAM用户或RAM角色通过DataWorks管理控制台使用MaxCompute，遇到提示无权限问题，则需要添加DataWorks相关权限，详情请参见 最佳实践：为RAM用户授权指引。RAM自定义权限策略 配置该策略后，所有支持RAM鉴权的权限都会被授予该RAM...
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
用户规划与管理
当MaxCompute项目需要...ALIYUN$odps_test_user@aliyun.com RAM$odps_test_user@aliyun.com:ram_test RAM$odps_test_user@aliyun.com:role/ram_role 后续指引 完成用户规划后，您可以根据实际业务需要执行授权操作：通过命令管理用户权限。
PyODPS API概述
本文为您提供了PyODPS API文档链接，其中包含各函数的参数说明及示例。ODPS详解（Definitions）PyODPS DataFrame指南（DataFrame Reference）
2024年
2024年02月29日-DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年04月08日（周一）至 2024年05月30日（周四）期间，逐步升级各个地域的独享资源组，以增强PyODPS支持。本次升级的主要内容及各...
MaxCompute如何访问Hologres
需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....
RAM权限
{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:UpdateQuota","odps:UpdateQuotaPlan","odps:UpdateSubQuotas","odps:UpdateQuotaSchedule","odps:CreateQuotaPlan","odps:DeleteQuotaPlan","odps:CreateQuotaSchedule"],...
ODPS-0123091
错误码：ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
PL错误码（ODPS-02CCCCX）
ODPS-02CCCCX:通用描述-上下文相关说明 PL错误包含CLIENT\LEXER\PARSER（CCCC段为1000~1999）和SEMANTIC（CCCC段为2000~2999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0210001:Unable to open input ...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...
Xlib错误码（ODPS-05CCCCX）
ODPS-05CCCCX:通用描述-上下文相关说明 Xlib错误包含CLIENT/SDK（CCCC段为1000~1999）、TASK（CCCC段为2000~2999）、MPI（CCCC段为3000~3999）和ALGORITHM（CCCC段为4000~4999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发...
报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
- 产品推荐
- 这些文档可能帮助您