在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
上传及注册
Resource file MaxCompute Studio将Python程序上传为资源后，资源文件所在的本地路径。Resource name Python程序上传至MaxCompute项目后，对应的资源名称。Resource comment Python资源的注释信息。Extra resources 注册MaxCompute UDF时...
Dataphin中上传python脚本创建UDF时，无法发现资源
产品名称 Dataphin 产品模块 函数管理 概述 在资源管理中，开发上传python脚本成功后，当在新建函数时，无法选择刚才上传的python资源。问题描述 在资源管理中，开发上传python脚本成功后，当在新建函数时，无法选择刚才上传的python资源。...
ADD PY
添加Python类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Python 3 UDAF
具体使用方法请参见 引用资源（Python UDF 3）和 引用资源（Python UDTF 3）。使用说明 按照 开发流程，完成Python 3 UDAF开发后，您即可通过MaxCompute SQL调用Python 3 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。...在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
创建并使用自定义函数
DataWorks创建自定义函数时支持使用JAR及Python两种类型的MaxCompute资源，不同类型资源的类名配置如下：当资源类型为JAR时，配置的 类名 格式为 Java包名称.实际类名，您可以在IDEA中通过 copy reference 语句获取。例如，...
Python 2 UDAF
具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，您即可通过MaxCompute SQL调用Python 2 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用...
使用MaxCompute分析IP来源最佳实践
说明 当资源类型为Python时，类名格式为 Python资源名称.类名（资源名称中的.py 无需填写）。资源列表 完整的文件名称，支持模糊匹配查找本工作空间中已添加的资源，必填。多个文件之间，使用英文逗号（,）分隔。描述 针对当前UDF作用的...
数据开发与运行
资源创建完成后，如果需要删除资源，简单模式下直接右键单击所需删除的资源即可，标准模式下需要先在开发环境中删除资源，再在生产环境中删除资源，以下以删除生产环境的资源为例，为您演示删除资源的操作步骤。说明 如果您的DataWorks为...
使用MaxCompute分析IP来源最佳实践
说明 当资源类型为Python时，类名格式为 Python资源名称.类名（资源名称中的.py 无需填写）。资源列表 完整的文件名称，支持模糊匹配查找本工作空间中已添加的资源，必填。多个文件之间，使用英文逗号（,）分隔。描述 针对当前UDF作用的...
UDF开发（Python2）
引用资源 Python UDF可以通过 odps.distcache 模块引用资源，支持引用文件资源和表资源。odps.distcache.get_cache_file(resource_name)：返回指定文件资源的内容。resource_name 为STRING类型，对应当前MaxCompute项目中已存在的文件资源...
Python 2 UDTF
引用资源 Python UDTF可以通过 odps.distcache 模块引用资源，支持引用文件资源和表资源。odps.distcache.get_cache_file(resource_name)：返回指定文件资源的内容。resource_name 为STRING类型，对应当前MaxCompute项目中已存在的文件资源...
节点运行ECS机器上的脚本
将Python文件作为EMR资源文件上传，关于Python资源请参考 创建EMR资源，本案例中定义的Python资源名为ecs.py。from paramiko import SSHClient import paramiko import sys,getopt username='' password='' ip='' cmd='' try:opts,args=...
PySpark开发示例
在DataWorks的ODPS Spark节点配置以下参数：参数名 配置详情 spark版本 Spark2.x 语言 Python 选择主python资源 spark_test.py 配置项-资源申请相关配置 spark.executor.instances=3 spark.executor.cores=1 spark.executor.memory=4g ...
PySpark任务快速入门
参数 说明 主Python资源 选择前一个步骤中在 资源上传 页面上传的Python文件。本文示例是DataFrame.py。运行参数 填写数据文件（employee.csv）上传到OSS的路径。例如，oss:/<yourBucketName>/employee.csv。运行任务后，在下方的 运行记录...
创建并使用MaxCompute资源
如果您的代码或函数中需使用MaxCompute资源文件，则需先创建或上传资源至目标工作空间后再引用。您可通过 MaxCompute的SQL命令上传与管理资源，也可使用DataWorks的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建资源并在...
创建并使用MaxCompute资源
可视化上传本地资源 可视化上传OSS资源 可视化直接创建（即在线编辑）DataWorks可视化创建及使用资源的流程如下：步骤一：创建或上传资源 步骤二：提交并发布资源 步骤三：使用资源 更多资源的操作及管理，详情请参见 管理资源、通过命令...
PyODPS使用第三方包
将 test_psi_udf.py 上传为MaxCompute Python资源，并将 scipy-bundle.tar.gz 上传为Archive资源。创建UDF名为 test_psi_udf，引用上述两个资源文件，并指定类名为 test_psi_udf.MyPsi。步骤3~4中，可以使用PyODPS或者MaxCompute客户端的...
Dataphin计算任务python脚本如何执行资源包
问题描述 Dataphin计算任务python脚本如何执行资源包。解决方案 Dataphin计算任务python执行资源包的脚本如下所示。usr/bin/env python#-*-coding:utf-8-*-@resource_reference{"zbr_tar_gz"} from odps.tunnel import TableTunnel from ...
导出开源引擎任务
Python节点：DataWorks没有单独的Python节点，Python节点目前是转换为Python文件资源和一个调用该Python资源的Shell节点，调度参数传递可能存在问题，您需自行调试检查。调度参数介绍，详情请参见 调度参数配置。Depend节点：暂不支持转换...
资源操作
资源（Resource）是MaxCompute的特有概念，如果您想使用MaxCompute的自定义函数（UDF）或MapReduce功能，需要依赖资源来完成。本文为您介绍添加、查看、下载及删除资源等常用资源操作。资源操作常用命令如下。类型 功能 角色 操作入口 添加...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
ADD ARCHIVE
添加ARCHIVE类型的资源。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具中运行。命令格式 ...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2.7任务。2.9.3版本后，...
什么是Pulumi
Pulumi 是一个开源工具，用于配置和管理云基础架构和资源。概览 Pulumi是一个基础架构即代码的自动化工具，它是构建在Terraform工具基础上的。...例如您可以通过Pulumi Python 创建数据库资源，并用Python语言创建数据库表等操作。
ADD FILE
添加File类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB（odpscmd要求使用0.37.5及以上版本）。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD...
ADD TABLE
添加TABLE类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具中...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击顶部菜单栏 研发。按照以下操作指引，进入 新建资源 对话框。选择 项目（Dev-Prod模式...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
- 产品推荐
- 这些文档可能帮助您