MaxCompute服务等级协议（SLA）
MaxCompute服务等级协议（SLA）的详情，请参见 MaxCompute服务等级协议。
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
快速入门
已开通DataWorks服务，并创建工作空间，详情请参见 创建MaxCompute项目。操作步骤 新建PyODPS节点。为方便您快速开始，本文中使用DataWorks PyODPS节点进行开发，详情请参见 创建PyODPS 3节点。说明 以PyODPS 3节点作为示例，PyODPS 3节点...
数据传输服务（上传）场景与工具
解决方案的可靠性 MaxCompute具有服务等级协议（SLA），因批量数据通道、流式数据通道默认使用免费共享资源，您还需考虑实现特定方案的可靠性。Tunnel数据通道服务依照访问的先后顺序，分配服务可用资源（Slot）。当服务的剩余可用资源为0...
安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
PyODPS常见问题
本文为您介绍使用PyODPS时的常见问题。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装...
准备工作
from odps import_version_as odps_version from mars import_version_as mars_version print(odps_version)print(mars_version)odps_version 为PyODPS版本，要求PyODPS为0.9.3.1以上版本。mars_version 为Mars版本，要求Mars为0.4.4以上...
Python SDK常见问题
本文为您介绍Python SDK常见问题，即PyODPS。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上...
PyODPS概述
DataWorks：DataWorks的PyODPS节点已安装好了PyODPS，您可以直接在DataWorks的PyODPS节点上开发PyODPS任务并周期性运行，操作指导请参见 通过DataWorks使用PyODPS。PAI Notebooks：PAI的Python环境也可安装运行PyODPS，其中PAI的内置镜像均...
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
开发PyODPS脚本
PyODPS是MaxCompute Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，通过PyODPS，您可以在MaxCompute上进行数据分析。本文为您介绍如何开发PyODPS脚本，以实现与MaxCompute的高效交互和数据处理。前提条件 已配置Python...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
PyODPS使用第三方包
本文为您介绍如何在PyODPS中使用第三方包。PyODPS制作第三方包的操作请参见 PyODPS制作第三方包。前提条件 已开通MaxCompute产品。如何开通请参见 开通MaxCompute。已开通DataWorks产品。如何开通请参见 开通DataWorks。上传三方包 使用...
开源支持
如何在DataWorks上使用PyODPS，详情请参见 PyODPS开发指南。PyODPS提供了DataFrame API，详情请参见 PyODPS DataFrame概述。欢迎您在GitHub aliyun-odps-python-sdk 反馈问题和需求，加快PyODPS生态成长。服务支持方式：您可通过访问官方...
PyODPS的去重
本文为您介绍如何进行PyODPS的去重。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据。下载 鸢尾花 ...
PyODPS查看一级分区
本文为您介绍如何在PyODPS中查看一级分区。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境，且已安装PyODPS包，参考：安装PyODPS。准备数据集 ...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
通过DataWorks使用PyODPS
PyODPS为MaxCompute的Python版SDK，支持在DataWorks中开发运行PyODPS任务。本文为您介绍在DataWorks上使用PyODPS的使用限制、主要流程和部分简单应用示例。使用限制 使用方式限制 如果您发现有 Got killed 报错，即表明内存使用超限，进程...
ODPS-0420095
由于后续涉及到需要在DataWorks上操作，在修改RAM角色的权限策略时，您需要把RAM角色同时授权给DataWorks服务，以便在DataWorks上能够提交周期性调度作业至MaxCompute。RAM角色的权限策略配置如下。{"Statement":[{"Action":"sts:...
项目空间
使用DataWorks：创建好PyODPS 2节点或PyODPS 3节点，详情请参见 通过DataWorks使用PyODPS。使用本地PC环境：安装好PyODPS并初始化ODPS入口对象。获取项目空间 使用MaxCompute入口对象的 get_project()方法获取项目空间。project=o.get_...
PyODPS的Sequence及执行操作
本文为您介绍如何进行PyODPS的Sequence及执行操作。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据...
准备工作
MaxCompute支持通过标准MaxFrame SDK（本地MaxFrame客户端）、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame，本文为您介绍使用MaxFrame前需要准备的运行环境。前提条件 已安装3.6及以上版本的Python环境。已创建MaxCompute项目...
PyODPS DataFrame的代码运行环境
使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。概述 PyODPS是一个Python包而非...
PyODPS制作第三方包
PyODPS自V0.11.3版本开始提供了 pyodps-pack 命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似 pip 命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz 的压缩包，其中包含所有依照MaxCompute...
PyODPS的排序
本文为您介绍如何进行PyODPS的排序。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据。下载 鸢尾花 ...
运行模式
MaxCompute Spark支持三种运行方式：Local模式、Cluster模式和DataWorks执行模式。Local模式 MaxCompute Spark支持用户以原生Spark Local模式进行作业调试。与Yarn Cluster模式类似，您首先需要做以下准备工作：准备MaxCompute项目以及对应...
配置选项
本文为您介绍PyODPS提供的配置选项。您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期（lifecycle选项）。options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel....
数据动态脱敏
背景信息 MaxCompute本身不具备动态脱敏的能力，依赖DataWorks数据保护伞服务的数据脱敏功能。您需先开通DataWorks的数据保护伞服务，才可为目标MaxCompute项目开启动态脱敏功能。为MaxCompute项目开启动态脱敏功能后，您可基于DataWorks的...
PyODPS API概述
本文为您提供了PyODPS API文档链接，其中包含各函数的参数说明及示例。ODPS详解（Definitions）PyODPS DataFrame指南（DataFrame Reference）
作业优先级
Odps odps=new Odps(account);公共云URL。String odpsUrl="http://service.odps.aliyun.com/api";odps.setEndpoint(odpsUrl);odps.setDefaultProject("xxxxxxxxxx");SQLTask task=new SQLTask();task.setName("adhoc_sql_task_1");task....
Spark常见问题
在DataWorks ODPS Spark节点中选择jar、file、archive资源。说明 该方案在任务运行时会上传资源，对于较大资源建议采用方案一进行引用。如何访问VPC？当前MaxCompute Spark支持以下两种方式来访问阿里云VPC中的服务：反向访问方式 使用限制...
常见问题
区分二者的方式如下：DataWorks工作空间：登录 DataWorks控制台，在左侧导航栏，单击 工作空间列表，此处您看到的是DataWorks工作空间。MaxCompute项目：登录 MaxCompute控制台，在左侧导航栏选择 工作区>项目管理，查看MaxCompute项目名称...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
数据类型版本说明
查看 odps.sql.type.system.odps2、odps.sql.decimal.odps2、odps.sql.hive.compatible 属性判断当前项目的数据类型版本。修改项目的数据类型版本 如果发现项目当前选择的数据类型版本不能满足业务需求，可以修改数据类型版本。项目管理员...
- 产品推荐
- 这些文档可能帮助您