PythonArtifact
名称 类型 描述 示例值 object 本数据结构代表 Python 类型作业必填的信息。pythonArtifactUri string Python 类型作业 URL 全路径。https://oss/bucket/test.py mainArgs string 启动参数。start from main entryModule string Python 的...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
ADD ARCHIVE
添加ARCHIVE类型的资源。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。命令格式 ...
ADD FILE
添加File类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB（odpscmd要求使用0.37.5及以上版本）。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD...
ADD TABLE
添加TABLE类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具中...
DROP RESOURCE
删除MaxCompute项目中已经存在的资源。...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。DESC RESOURCE：查看资源信息。LIST RESOURCES：查看资源列表。ALIAS：为资源创建别名。GET RESOURCE：下载资源。
GET RESOURCE
下载MaxCompute项目中的资源到本地。...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。DESC RESOURCE：查看资源信息。LIST RESOURCES：查看资源列表。ALIAS：为资源创建别名。DROP RESOURCE：删除资源。
ADD PY
添加Python类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具...
创建并使用自定义函数
DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源，不同类型资源的类名配置如下：当资源类型为JAR时，配置的 类名 格式为 Java包名称.实际类名，您可以在IDEA中通过 copy reference 语句获取。例如，...
中文和时间
因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据类型 描述 str 字符串。对应Python 3.x中的bytes类型。unicode unicode流。其长度是字符数，如 u'中文' 的长度...
LIST RESOURCES
查看当前项目下所有的资源，包含资源名、所有者、创建时间、...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。DESC RESOURCE：查看资源信息。ALIAS：为资源创建别名。GET RESOURCE：下载资源。DROP RESOURCE：删除资源。
ADD JAR
添加JAR类型的资源至MaxCompute...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。DESC RESOURCE：查看资源信息。LIST RESOURCES：查看资源列表。ALIAS：为资源创建别名。GET RESOURCE：下载资源。DROP RESOURCE：删除资源。
Python 2 UDAF
本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
概述
JAVA J2SE Development Kit（JDK）1.5或以上版本.NET .NET Framework 4.0或以上版本 PHP PHP 5.3及以上版本 Python Python 2.7及以上版本 说明 目前，智能验证服务端代码集成仅支持JAVA、.NET、PHP、Python类型的SDK，其他语言版本的SDK暂...
概述
JAVA J2SE Development Kit（JDK）1.5或以上版本.NET .NET Framework 4.0或以上版本 PHP PHP 5.3及以上版本 Python Python 2.7及以上版本 说明 目前，智能验证服务端代码集成仅支持JAVA、.NET、PHP、Python类型的SDK，其他语言版本的SDK暂...
UDF开发（Python2）
本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
资源
资源类型 MaxCompute支持上传的单个资源大小上限为2048 MB，资源包括以下几种类型：File类型：仅支持.zip、.so和.jar类型的File资源。Table类型：MaxCompute中的表。说明 MapReduce引用的Table类型资源中，Table字段类型目前只支持BIGINT、...
Python 2 UDTF
本文为您介绍如何通过Python 2语言编写UDTF。UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDTF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-*-coding:utf-8-*-，二者等效。当...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
DESC RESOURCE
查看当前项目下指定资源的信息，包含资源名、所有者、资源类型...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。LIST RESOURCES：查看资源列表。ALIAS：为资源创建别名。GET RESOURCE：下载资源。DROP RESOURCE：删除资源。
ALIAS
为资源创建别名。alias命令可以在不修改代码的前提下，...ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。DESC RESOURCE：查看资源信息。LIST RESOURCES：查看资源列表。GET RESOURCE：下载资源。DROP RESOURCE：删除资源。
Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
管理自定义函数（UDF）
对于Python类型的UDF，其依赖推荐通过的单独上传依赖文件方式上传。外部URL：当需要使用其他服务上存在的UDF文件时，可以使用外部URL功能获取UDF文件。说明 在使用其他服务的HTTP路径时，需要该服务和Flink工作空间在同一VPC下，或者先打通...
分支节点实现特定时间执行任务
新建赋值节点时，会自带一个outputs，赋值节点支持编写SQL、SHELL和Python三种语言。对于SQL类型，DataWorks捕获最后一条SELECT语句作为outputs的值。对Shell和Python类型，DataWorks捕获最后一行标准输出作为outputs的值。本文采用Python...
自定义Python组件上架
类型 Python脚本：画布通过Python编译器编写脚本。Python组件：上架组件前编写好脚本，画布通过控件运行脚本。算法包组件：上传算法包方式运行组件。此处选择 Python组件。分组 目前选择默认分组。运行方式 service实时调用：画布可实时...
自定义Python脚本上架
类型 Python脚本：画布通过Python编译器编写脚本。Python组件：上架组件前编写好脚本，只可编辑输入、输出参数，不可修改Python代码。算法包组件：上传算法包方式运行组件。此处选择 Python脚本。分组 目前选择默认分组。运行方式 service...
资源操作
JAR及PYTHON类型资源不支持此参数。comment：可选。为资源添加注释。f：可选。当存在同名的资源时，此操作会覆盖原有资源。如果不指定此选项，存在同名资源时，操作将失败。使用示例 示例1：添加一个FILE类型文件资源到MaxCompute。add ...
创建并使用MaxCompute资源
同时，部分资源类型也支持您直接在DataWorks新建，例如，Python、不超过500KB的File资源类型。说明 通过DataWorks可视化方式创建或上传的资源：若资源未在MaxCompute（ODPS）客户端上传过，则需勾选 上传为ODPS资源，若资源已上传至...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
自定义算法包组件上架
类型 Python脚本：画布通过Python编译器编写脚本。Python组件：上架组件前编写好脚本，画布通过控件运行脚本。算法包组件：上传算法包方式运行组件。此处选择 算法包组件。分组 目前选择默认分组。运行方式 service实时调用：画布可实时...
表批读写
SQL%sql-Create table in the metastore CREATE TABLE events(date DATE,eventId STRING,eventType STRING,data STRING)USING DELTA Python%pyspark df=spark.createDataFrame([("case21",'2020-10-12',21,'INFO'),("case22",'2020-10-13',...
使用函数作为API过滤器
Python函数正在改造中，暂不支持新建、克隆和发布新的Python函数。使用函数作为API的过滤器 在 服务开发 页面，展开目标API所在的 业务流程>API。双击相应的API名称，打开该API的编辑页面。单击页面右侧的 过滤器。根据需要勾选 使用前置...
函数概述
注意事项 当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致，即均选择Aviator函数类型或Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。基于安全和性能等因素的评估，Aviator函数需要...
部署作业
说明 如果您的作业是Python API类型，Entrypoint class应该填写为org.apache.flink.client.python.PythonDriver。Entry Point Main Arguments 您可以在此处传入参数，在主方法里面调用该参数。说明 参数信息长度不要大于1024，且不建议用来...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
创建Python函数
Python函数作为过滤器的使用限制如下：过滤器仅支持Python 3.0的语法。过滤器仅支持 import json,time,random,pickle,re,math。过滤器限定函数名 def handler(event,context):。函数结构说明#-*-coding:utf-8-*-#event(str):in filter it ...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。...在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。
- 产品推荐
- 这些文档可能帮助您