权限问题
MaxCompute表无Download权限 报错信息 解决方法 在DataWorks的 数据地图 中搜索对应的MaxCompute表，并申请开通其Download权限，运行时则可以下载相应的数据。MaxCompute表无Describe、Select等权限 报错信息 解决方法 申请对应Project下的...
查询加速（MCQA）
PyODPS。SQLAlchemy。基于MaxCompute客户端启用MCQA功能 下载最新版 MaxCompute客户端（odpscmd）。安装并配置客户端，详情请参见 安装并配置MaxCompute客户端。修改客户端安装目录conf下的配置文件odps_config.ini，在配置文件最后一行...
搭建Linux开发环境
spark.sql.catalogImplementation={odps|hive}#如下参数配置保持不变 spark.hadoop.odps.task.major.version=cupid_v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper ...
PyODPS的列运算
本文为您介绍如何进行PyODPS的列运算。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据。下载 鸢尾...
使用限制
PyODPS限制 在MaxCompute中基于DataWorks开发PyODPS作业时的使用限制如下：PyODPS节点获取本地处理的数据不能超过50 MB，节点运行时占用内存不能超过1 GB，否则节点任务会被系统中止。请避免在PyODPS任务中添加额外的Python数据处理代码。...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
管理IP白名单
部署DataWorks的设备默认在白名单内，通过DataWorks提交MaxCompute作业不受限制，您无需配置白名单。VPC网络下的IP白名单。设置VPC网络下的IP白名单时，您需要：获取VPC网络的VPC实例ID。配置VPC网络下的Endpoint。详情参见 Endpoint。添加...
统计MaxCompute TOPN费用账号及耗时作业
进入DataWorks数据开发界面，创建ODPS SQL节点（information_history）并配置定时调度，用于定时将数据写入备份表information_history。完成后单击左上角 图标保存。创建ODPS SQL节点操作，请参见 创建ODPS SQL节点。ODPS SQL节点运行的...
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
PyODPS制作第三方包
PyODPS自V0.11.3版本开始提供了 pyodps-pack 命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似 pip 命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz 的压缩包，其中包含所有依照MaxCompute...
常见问题
区分二者的方式如下：DataWorks工作空间：登录 DataWorks控制台，在左侧导航栏，单击 工作空间列表，此处您看到的是DataWorks工作空间。MaxCompute项目：登录 MaxCompute控制台，在左侧导航栏选择 工作区>项目管理，查看MaxCompute项目名称...
配置选项
您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期（lifecycle选项）。options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。options.tunnel....
实现指定用户访问特定UDF最佳实践
{"Version":"1","Statement"[{"Effect":"Deny","Action":["odps:Read","odps:List"],"Resource":"acs:odps:*:projects/sz_mc/resources/getaddr.jar"},{"Effect":"Deny","Action":["odps:Read","odps:List"],"Resource":"acs:odps:*:...
快速入门
movies=DataFrame(o.get_table('pyodps_ml_100k_movies'))ratings=DataFrame(o.get_table('pyodps_ml_100k_ratings'))o.delete_table('pyodps_ml_100k_lens',if_exists=True)lens=movies.join(ratings).join(users).persist('pyodps_ml_100...
调试指南
由于PyODPS DataFrame本身会对整个操作执行优化，为了更直观地反应整个过程，您可以使用可视化的方式显示整个表达式的计算过程。可视化DataFrame 可视化需要依赖 graphviz软件 和 graphviz Python包。df=iris.groupby('name').agg(id=iris....
ODPS-0130071
错误码：ODPS-0130071:Semantic analysis exception 错误1：the number of input partition columns(n)doesn't equal to table's partition columns(m)错误信息示例 FAILED:ODPS-0130071:[m,n]Semantic analysis exception-the number of ...
将数据写入OSS
odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下：取值为False：MaxCompute写入到OSS外部表的数据，会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件，用于保证MaxCompute数据的...
SQL脚本模式
在DataWorks中可以建立脚本模式的节点ODPS Script，示例如下。在此节点中进行脚本模式编辑，编辑完成后单击工具栏的 运行 图标，提交脚本到MaxCompute执行。从输出信息的Logview URL中可以查看执行计划图和结果。通过Java SDK使用脚本模式...
PyODPS使用第三方包
本文为您介绍如何在PyODPS中使用第三方包。PyODPS制作第三方包的操作请参见 PyODPS制作第三方包。前提条件 已开通MaxCompute产品。如何开通请参见 开通MaxCompute。已开通DataWorks产品。如何开通请参见 开通DataWorks。上传三方包 使用...
API错误码（ODPS-04CCCCX）
ODPS-04CCCCX:通用描述-上下文相关说明 API错误包含Web（CCCC段为1000~1999）、Worker（CCCC段为2000~2999）、Scheduler（CCCC段为3000~3999）、Executor（CCCC段为4000~4999）和Message Service（CCCC段为5000~5999）模块错误。...
ODPS-0123091
错误码：ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
PL错误码（ODPS-02CCCCX）
ODPS-02CCCCX:通用描述-上下文相关说明 PL错误包含CLIENT\LEXER\PARSER（CCCC段为1000~1999）和SEMANTIC（CCCC段为2000~2999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发条件 处理方法 ODPS-0210001:Unable to open input ...
RAM权限
{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:UpdateQuota","odps:UpdateQuotaPlan","odps:UpdateSubQuotas","odps:UpdateQuotaSchedule","odps:CreateQuotaPlan","odps:DeleteQuotaPlan","odps:CreateQuotaSchedule"],...
ODPS-0130241
错误码：ODPS-0130241:Illegal union operation 错误1：Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column ...
SQL错误码（ODPS-01CCCCX）
FAILED:ODPS-0130071:[1,27]Semantic analysis exception-TIMESTAMP type is not enabled in current mode.Please set odps.sql.type.system.odps2=true to use it.产生原因：SQL语句中使用的内建函数涉及2.0数据类型（TINYINT、SMALLINT、...
合并小文件
PyODPS脚本合并 通过PyODPS异步提交任务，合并前一天任务产出的小文件，脚本示例如下：import os from odps import ODPS from odps.tunnel import TableTunnel#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#...
PyODPS API概述
本文为您提供了PyODPS API文档链接，其中包含各函数的参数说明及示例。ODPS详解（Definitions）PyODPS DataFrame指南（DataFrame Reference）
在SQL语句中设置Flag示例
背景信息 使用DataWorks或MaxCompute客户端提交SQL时，通常需要设置SQL的Flag。例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK...
Xlib错误码（ODPS-05CCCCX）
ODPS-05CCCCX:通用描述-上下文相关说明 Xlib错误包含CLIENT/SDK（CCCC段为1000~1999）、TASK（CCCC段为2000~2999）、MPI（CCCC段为3000~3999）和ALGORITHM（CCCC段为4000~4999）模块错误。具体错误码列表如下。错误码 模块 严重等级 触发...
Java SDK介绍
Odps odps=new Odps(account);String odpsUrl="<yourodps endpoint>;odps.setEndpoint(odpsUrl);odps.setDefaultProject("my_project");for(Table t:odps.tables()){.} 批量数据通道 MaxCompute Tunnel数据通道是基于Tunnel SDK编写的。您...
SET
odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在...
ODPS-0130013
错误码：ODPS-0130013:Authorization exception 错误1：Authorization Failed[4011],You have NO privilege 'odps:Select' on {acs:odps:*:projects/<project_name>/tables/<table_name>}.Explicitly denied by policy.Context ID:...
大量数据导出方案
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），单击 运行。数据同步的运行日志，如下所示。2016-12-17 23:43:46.394...
Flag参数列表
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
RAM权限策略管理
{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:UpdateQuota","odps:UpdateQuotaPlan","odps:UpdateSubQuotas","odps:UpdateQuotaSchedule","odps:CreateQuotaPlan","odps:DeleteQuotaPlan","odps:CreateQuotaSchedule"],...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
用户规划与管理
相关操作 由于后续涉及到需要在DataWorks上操作，在修改RAM角色的权限策略时，您需要把RAM角色同时授权给DataWorks服务，以便在DataWorks上能够提交周期性调度作业至MaxCompute。RAM角色的权限策略配置方式请参见（进阶）RAM角色授信策略。...
项目空间操作
true：打开 false：关闭 odps.sql.decimal.odps2 DECIMAL 2.0数据类型 DECIMAL(precision,scale)开关。详情请参见 2.0数据类型版本。true：打开 false：关闭 odps.timemachine.retention.days 设置备份数据的保留天数。详情请参见 备份与...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
- 产品推荐
- 这些文档可能帮助您