在DataWorks上运行PySpark作业的最佳实践
sudo docker exec-it python3.7 bash pip install[所需依赖库]#vi requirements.txt#pip install-r requirements.txt#numpy#pandas cd/usr/local/zip-r python3.7.zip python3/拷贝容器中的Python环境到宿主机。在宿主机运行命令将虚拟环境...
PySpark开发示例
上述配置项的值为Python包所在路径，您可以选择使用自行下载的Python包或者直接采用公共资源。提交运行。mc_pyspark-0.1.0-py3-none-any.zip为通用业务逻辑代码 spark-submit-py-files mc_pyspark-0.1.0-py3-none-any.zip spark-test.py ...
Flink Python参考
本文通过以下方面，为您介绍Flink Python的使用方法。背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：...
使用Python依赖
推荐使用 quay.io/pypa/manylinux2014_x86_64 镜像容器中的 Python 3.7 来编译第三方Python包，使用该容器编译生成的包兼容绝大多数Linux环境，关于该镜像容器的更多信息请参见 manylinux。说明 Python 3.7 的安装路径为/opt/python/cp37-...
数据分层存储
使用方法如下：SELECT*from hg_table_storage_status('<schema_name>','<table_name>');参数 描述 schema_name 表的Schema名 table_name 表名 返回结果如下：列名 内容 table_name 非分区表：表名 分区父表：分区子表名。会返回多行，每行...
更新软件
apt-get install python 说明 若您需要更新其他软件，请将上述命令中的 python 替换为您实际需要更新的软件名称。更新系统上的全部软件。重要 由于该命令可能会更新系统内核，导致出现系统无法启动、内核与软件不兼容等问题。建议您完成不...
链路追踪
在Python语言的代码中，您可以通过OpenTelemetry SDK手动埋点将数据上报到链路追踪服务端。完整的示例代码，请参见 python-tracing-openTelemetry。示例代码解析如下。在工程目录中配置依赖文件 requirements.txt。opentelemetry-api=1.12....
Python脚本示例
本文介绍Python语言的自定义Topic消息解析脚本模板和示例。脚本模板 SELF_DEFINE_TOPIC_UPDATE_FLAG='/user/update'#自定义Topic：/user/update。SELF_DEFINE_TOPIC_ERROR_FLAG='/user/update/error'#自定义Topic：/user/update/error。将...
安装
说明 OSS Python SDK需要crcmod计算CRC校验码，而crcmod依赖python-devel包中的Python.h文件。如果系统缺少Python.h文件，虽然之后安装OSS Python SDK不会失败，但crcmod的C扩展模式安装会失败。如果crcmod的C扩展模式安装失败，在上传、...
在PyODPS节点中调用第三方包
本文为您介绍在依赖普通的Python脚本和开源第三方包的场景下，如何使用DataWorks PyODPS节点调用第三方包。背景信息 DataWorks支持可视化创建Python资源，若需要依赖开源第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
Dataphin中创建python自定义函数方法
产品名称 Dataphin 产品模块 自定义函数 概述 描述如何创建python自定义函数。问题描述 请问在Dataphin中如何创建python自定义函数？问题原因 NA 解决方案 第一步：创建...第四步：即席查询中使用python自定义函数。更多信息 NA 相关文档 NA
开发PyODPS 3任务
目前MaxCompute使用的Python 3版本为3.7，当使用其它版本Python 3中的部分语法（例如Python 3.8中的finally block）时，执行会报错，建议您选择Python 3.7。PyODPS 3支持运行在公共资源组和2020年4月之后购买的独享调度资源组上。如果您的...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
开发PyODPS 3任务
目前MaxCompute使用的Python 3版本为3.7，当使用其它版本Python 3中的部分语法（例如Python 3.8中的finally block）时，执行会报错，建议您选择Python 3.7。PyODPS 3支持运行在公共资源组和2020年4月之后购买的独享调度资源组上。如果您的...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Dataphin中python脚本导入odps包后使用报错"name '...
问题描述 Dataphin的python脚本中，导入odps包后，使用odps.execute_sql()时报错"name 'odps' is not defined。问题原因 用户使用的Dataphin是2.9.1版本，此版本使用odps包时需要先手工添加odps的AK信息去获取实例，不能直接使用。解决方案...
准备环境
安装的Python版本要求如下：若您使用的SDK版本为v1.0.0，您需要安装大于等于2.5且小于3.0版本的Python。若您使用的SDK版本大于v1.0.0，您需要安装2.5及以上版本的Python。安装pip。更多信息，请参见 安装pip。说明 Python 3.4及以上版本...
使用WebIDE打包函数第三方依赖
最后删除代码目录中的/python 目录。执行的命令如下。1.将python目录发布成一个层 zip-ry python.zip python s cli fc3 layer publish-layer-name myPythonLibLayer-code/code/python.zip-compatible-runtime python3.10,python3.9,python3...
使用WebIDE打包函数第三方依赖
最后删除代码目录中的/python 目录。执行的命令如下。1.将python目录发布成一个层 zip-ry python.zip python s cli fc layer publish-layer-name myPythonLibLayer-code/code/python.zip-compatible-runtime python3.10,python3.9,python3....
其他子产品SDK参考文档
使用WebIDE在线调试代码 介绍如何通过 DSW 中的WebIDE，在线调试Notebook中运行的Python代码。使用EasyVision进行目标检测 介绍如何在Python环境中，使用EasyVision进行模型训练和预测。AIGC文生图模型微调及WebUI部署 介绍如何在 DSW 中，...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
支持的检测规则
Python开发规范 Python 分析 Python 代码中的错误，查找不符合代码风格标准、有潜在问题的代码并提供重构建议。Python安全检测 基于bandit检测工具帮助开发者检测和修复python代码中的编码安全问题。Python编码风格检测 基于pycodestyle...
如何在Custom Runtime中引用层中的依赖
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
如何在Custom Runtime中引用层中的依赖
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
SET_TABLE_PROPERTY
本文为您介绍在交互式分析Hologres中SET_TABLE_PROPERTY的用法。函数概述 SET_TABLE_PROPERTY用于设置表的属性，包括索引、分布列、行存储、列存储以及生命周期等属性。如果您需要对创建的表进行修改、更新和删除，具体操作请参见 ALTER ...
PySpark Python环境介绍
本文以Python3为例，介绍不同Spark版本所对应的Python版本，以及安装Python第三方库的方法。Spark版本与Python版本对应关系 EMR版本 Spark版本 Python版本 Python路径 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本 Spark2 python3.6/bin/...
PyODPS制作第三方包
PyODPS自V0.11.3版本开始提供了 pyodps-pack 命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似 pip 命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz 的压缩包，其中包含所有依照MaxCompute...
HTTP请求处理程序（HTTP Handler）
只需要将 handler 函数实现为 return app(environ,start_response)，即可将Flask或Django等Web框架应用运行在 函数计算 的Python Runtime中。前提条件 创建服务 操作步骤 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单...
Flink Python作业快速入门
说明 在Python作业中使用其他依赖（例如自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等）的方法请参见 使用Python依赖。步骤三：创建作业 流作业 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在 作业运维 ...
DSW连接EMR集群
集群中Executor使用的Python环境中没有安装PySpark应用中依赖的包，推荐使用spark.archives配置将本地Python环境同步到远端，或者手动在集群每个Worker节点安装相关依赖。创建PySpark内核并初始化完成后，新建Notebook时，下拉列表里没有...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
提交作业
提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业运行。bcs命令需要先安装 batchcompute-cli 工具 才能使用。bcs sub 命令格式为 bcs sub...
如何提交作业
本文解释了您的疑问：您有一个 Python 程序 test.py，在本地环境您可以 python test.py，但是在批量计算上应该如何运行呢？test.py 内容如下：print('Hello,cloud!')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您...
HG_UPDATE_DATABASE_PROPERTY
本文为您介绍在交互式分析Hologres中HG_UPDATE_DATABASE_PROPERTY的用法。使用限制 仅实例的Superuser和数据库的Owner可以调用 HG_UPDATE_DATABASE_PROPERTY 函数。介绍 HG_UPDATE_DATABASE_PROPERTY用于更新数据库的两个属性，如下表所示...
Dataphin中Python任务的日志中出现”middle part of ...
问题描述 Dataphin中Python任务的日志中间部分出现”middle part of log InputStream omitted"导致日志显示不完整。问题原因 Dataphin中日志最大存储量为1M，前512k，后512k，多余的部分会在中间省略。解决方案 目前不支持显示更多日志信息...
运维助手
说明 如需在MaxCompute的Python UDF中引用Python第三方包，请参见 UDF示例：Python UDF使用第三方包。进入运维助手 登录 DataWorks控制台，单击左侧导航栏的 资源组列表，进入资源组列表页面。在 独享资源组 页签，单击相应 调度资源组 后...
从备份文件恢复到自建MySQL数据库
您可以使用 PolarDB 的备份文件下载功能，将云盘实例的快照备份数据转换成CSV文件或SQL文件导出，然后通过该文件将数据恢复到自建MySQL数据库中。前提条件 PolarDB MySQL版 集群要求 集群版本要求：当前仅 PolarDB MySQL版 企业版的集群版...
- 产品推荐
- 这些文档可能帮助您