在DataWorks上运行PySpark作业的最佳实践
sudo docker exec-it python3.7 bash pip install[所需依赖库]#vi requirements.txt#pip install-r requirements.txt#numpy#pandas cd/usr/local/zip-r python3.7.zip python3/拷贝容器中的Python环境到宿主机。在宿主机运行命令将虚拟环境...
PySpark开发示例
本文为您介绍PySpark开发示例。如果要访问MaxCompute表，则需要编译datasource包，详细步骤请参见 搭建Linux开发环境。SparkSQL应用示例（Spark1.6）详细代码 from pyspark import SparkContext,SparkConf from pyspark.sql import ...
Python脚本示例
本文介绍Python语言的自定义Topic消息解析脚本模板和示例。脚本模板 SELF_DEFINE_TOPIC_UPDATE_FLAG='/user/update'#自定义Topic：/user/update。SELF_DEFINE_TOPIC_ERROR_FLAG='/user/update/error'#自定义Topic：/user/update/error。将...
0016-00000314
问题描述 CopyObject请求中指定拷贝的源文件大小超出限制。问题原因 您发送了CopyObject请求，但是请求中用于指定拷贝源文件地址的x-oss-copy-source请求头指向的源文件大小超出限制。问题示例 以下CopyObject请求中指向的源Bucket与目标...
Python SDK示例：Configuration
本文为您介绍Python SDK中Configuration相关的典型场景操作示例。Configuration PyODPS提供了一系列的配置选项，可通过 odps.options 命令获得。可配置的MaxCompute选项，如下所示：通用配置 选项 说明 默认值 end_point MaxCompute ...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
Python SDK示例：Project
本文为您介绍Python SDK中项目相关的典型场景操作示例。获取PyODPS项目空间 项目空间是MaxCompute的基本组织单元，详情请参见 项目。项目空间的基本操作如下：获取项目空间：使用MaxCompute入口对象的 get_project()方法获取项目空间。...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。拷贝小文件 对于小于1 GB的文件，您可以通过CopyObject...
0042-00000308
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，如果该参数指定的拷贝源是一个软链接（Symlink），就会产生该错误。问题示例 比如您发起了如下请求：PUT/...
0042-00000306
问题原因 您发起了S3兼容的UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-amz-copy-source 参数用来指定拷贝源，x-amz-copy-source-range 参数指定的拷贝范围，如果该参数指定的拷贝范围超出了拷贝源文件的大小，...
0042-00000309
问题描述 UploadPartCopy请求中 x-oss-copy-source 参数指定的拷贝源使用了客户端加密。问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，如果该参数指定的源...
赋值节点
赋值节点的Python赋值语言使用的Python版本为Python 2.0。赋值节点代码中不支持添加注释，添加注释可能导致运行结果有误。为避免下游节点获取赋值节点的结果集有误，在下游节点引用赋值节点结果集后，您可提交下游节点及赋值节点至开发环境...
拷贝区块
本文介绍如何拷贝一个区块。操作步骤 登录 DataV控制台。在 我的资产 页签中选择左侧导航栏的 我的区块。单击待拷贝区块名称右侧的 图标，选择 拷贝。在 拷贝给他人 对话框中，输入需要拷贝用户的 用户识别码，单击 确定 即可拷贝当前区块...
拷贝Sheet页
1.组件介绍 说明 必要前置组件：启动Excel 或 获取已打开的Excel 利用本组件可以拷贝Excel中指定的sheet页至新的sheet页 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各...
0042-00000307
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，x-oss-copy-source-range 参数指定的拷贝范围，如果该参数指定的拷贝范围超出了限制，就会产生该错误；...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
Python
本文介绍如何在Python中通过MySQLdb的module连接 AnalyticDB MySQL 集群。usr/bin/python#-*-coding:UTF-8-*-import MySQLdb#打开数据库连接。host是AnalyticDB MySQL集群的URL或IP。port是AnalyticDB MySQL集群的URL对应的端口。user是...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
0016-00000330
问题描述 无法读取CopyObject请求中指定拷贝的源文件。问题原因 您发送了CopyObject请求，但是请求中用于指定拷贝源文件地址的x-oss-copy-source请求头指向的源文件处于不可读取状态。例如，源文件存储类型为归档类型。问题示例 以下...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
0042-00000310
问题描述 UploadPartCopy请求中 x-oss-copy-source 参数指定的拷贝源文件为归档存储（Archive）类型。问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源。该参数...
Python SDK示例：DataFrame
本文为您介绍Python SDK中DataFrame相关的典型场景操作示例。DataFrame PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。完整的DataFrame文档请参见 DataFrame。假设已经存在三张表，分别是 ...
0042-00000303
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，如果该参数值为空，就会产生该错误。该参数的格式是/oss-example/src-object 或者/oss-example/src-object?...
拷贝文件
本文介绍如何将源存储空间（Bucket）中的文件（Object）拷贝到同一地域下相同或不同目标Bucket。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的...
0042-00000302
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，如果该参数值为空，就会产生该错误。该参数的格式是/oss-example/src-object 或者/oss-example/src-object?...
0042-00000301
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源。如果该参数有误，就会产生该错误。该参数的格式是/oss-example/src-object 或者/oss-example/src-object?...
0016-00000307
问题原因 您发送了CopyObject请求，但是请求中用于拷贝的源文件地址请求头x-oss-copy-source取值中versinId对应的版本为删除标记（DeleteMarker），但是该接口不允许拷贝删除标记。问题示例 以下CopyObject请求中请求头x-oss-copy-source...
Dataphin中Python脚本如何使用本地csv文件
概述 本文为您介绍Dataphin中Python脚本如何使用本地的文件。详细信息 1.在dataphin中先通过资源管理模块上传本地文件。2.点击上传文件的详细信息，复制引用路径。3.在Python脚本中声明该文件，即可引用。适用于 Dataphin
从实例中拷贝文件到OSS
我们经常遇到从某台线上的机器把日志文件拷贝出来或者...总结 以上我们介绍了如果使用 系统运维管理 方便的从实例中拷贝文件到OSS上，结合拷贝文件的场景与执行命令的组合，我们可以方便的做出到某台机器jstack输出文件并拷贝出来等相应场景。
拷贝区块
本文介绍如何拷贝一个区块。操作步骤 登录 DataV控制台。在 工作台 页面，选择 组件开发 模块下的 区块 页签。单击待拷贝区块名称右侧的 图标，选择 拷贝。在 拷贝给他人 对话框中，输入需要拷贝用户的 用户识别码，单击 确定 即可拷贝当前...
拷贝文件
本文介绍如何将源存储空间（Bucket）中的文件（Object）拷贝到同一地域下相同或不同目标Bucket。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的...
赋值
以下示例显示存储过程的可执行部分中的赋值语句的典型使用。CREATE OR REPLACE PROCEDURE dept_salary_rpt(p_deptno NUMBER)IS todays_date DATE;rpt_title VARCHAR2(60);base_sal INTEGER;base_comm_rate NUMBER;base_annual NUMBER;BEGIN...
中文和时间
本文介绍使用Python SDK时所用到的中文和时间知识。中文 在Python代码中如果使用了中文字符，运行时会出错。因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据...
Python接口文档
PAI-Blade提供Python接口供您调用...② 优化的外部依赖 OptimizeSpec Python中通过 with 语句使达到预期优化效果的外部依赖都生效，该依赖包括环境变量、编译缓存等。SDK中暂不需要该参数。③ 优化报告 OptimizeReport 详情请参见 优化报告。
0042-00000305
问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源，该参数可以通过versionId指定要拷贝的具体版本，如果该参数指定的版本是一个删除标记（Delete Marker）就会...
- 产品推荐
- 这些文档可能帮助您