离线任务（PYTHON）zip包制作指南
说明：PYTHON离线任务支持PYTHON语言的3.6版本。PYTHON离线任务应用zip包的规范如下：zip包里面根目录不要出现start.sh和start_flow.sh zip包结构参照如下 xxx.zip#zip包中仅包含算法代码即可,根目录不要含有start.sh、start_flow.sh两个...
离线任务（PYTHON）zip包制作指南
说明：PYTHON离线任务支持PYTHON语言的3.6版本。PYTHON离线任务应用zip包的规范如下：zip包里面根目录不要出现start.sh和start_flow.sh zip包结构参照如下 xxx.zip#zip包中仅包含算法代码即可,根目录不要含有start.sh、start_flow.sh两个...
Paho-MQTT Python接入示例
本文介绍如何调用Python语言的Paho MQTT类库，将设备接入阿里云物联网平台并进行消息收发。前提条件 已在 物联网平台控制台，对应实例下，创建产品和设备，并获取 MQTT接入域名和 设备证书信息（ProductKey、DeviceName和DeviceSecret）。...
Python 2.7 SDK接入示例
下载SDK Python语言的AMQP SDK，推荐使用Apache Qpid Proton 0.29.0，该库中已封装了Python API。请访问 Qpid Proton 0.29.0 下载库和查看使用说明。安装Proton。安装操作指导，请参见 Installing Qpid Proton。安装完成后，通过以下Python...
通过Jaeger上报Python应用数据
针对Python语言，最新v1.25版本的Jaeger仅支持通过UDP协议从Jaeger Client端上报至Jaeger Agent端。由于UDP协议并不保证通信的可靠性，因此为了保证调用链路数据的可靠性，一般情况下需要将Jaeger Client端和Jaeger Agent端运行在同一个...
通过Jaeger上报Python应用数据
针对Python语言，最新v1.25版本的Jaeger仅支持通过UDP协议从Jaeger Client端上报至Jaeger Agent端。由于UDP协议并不保证通信的可靠性，因此为了保证调用链路数据的可靠性，一般情况下需要将Jaeger Client端和Jaeger Agent端运行在同一个...
Python应用部署到Kubernetes
在弹框中选择 Python 语言和 python-3-flask 模板，勾选【生成Dockerfile】，然后点击确认。为了在代码提交时候触发持续集成，打开【开启监听】。然后点击【下一步】。编辑流水线 云效会识别代码库语言并推荐相应流水线模板，使用默认置顶...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
在DataWorks上运行PySpark作业的最佳实践
sudo docker exec-it python3.7 bash pip install[所需依赖库]#vi requirements.txt#pip install-r requirements.txt#numpy#pandas cd/usr/local/zip-r python3.7.zip python3/拷贝容器中的Python环境到宿主机。在宿主机运行命令将虚拟环境...
自定义标量函数（UDSF）
zip-r python_demo.zip udx \python_demo-master\ 目录下会出现 python_demo.zip 的ZIP包，即代表完成了Python UDSF的开发工作。UDSF注册 UDSF注册过程，请参见 注册UDF。UDSF使用 在完成注册UDSF后，您就可以使用UDSF，详细的操作步骤如下...
自定义表值函数（UDTF）
zip-r python_demo.zip udx \python_demo\ 目录下会出现 python_demo.zip 的ZIP包，即代表完成了UDTF开发工作。UDTF注册 UDTF注册过程，请参见 注册UDF。UDTF使用 在完成UDTF注册后，您就可以使用UDTF，详细的操作步骤如下。Flink SQL作业...
自定义聚合函数（UDAF）
zip-r python_demo.zip udx \python_demo-master\ 目录下会出现 python_demo.zip 的ZIP包，即代表完成了UDAF开发工作。UDAF注册 UDAF注册过程，请参见 注册UDF。UDAF使用 在完成注册UDAF后，您就可以使用UDAF，详细的操作步骤如下。Flink ...
PySpark开发示例
在DataWorks的ODPS Spark节点配置以下参数：参数名 配置详情 spark版本 Spark2.x 语言 Python 选择主python资源 spark_test.py 配置项-资源申请相关配置 spark.executor.instances=3 spark.executor.cores=1 spark.executor.memory=4g ...
Python容器型
python-sdk-iot=7.8.0 \ aliyun-python-sdk-ecs=4.10.1 \ aliyun-python-sdk-vpc=3.0.2 \ aliyun-python-sdk-rds=2.1.4 \ aliyun-python-sdk-kms=2.5.0 \ aliyun-python-sdk-imm=1.3.4 \ aliyun-log-python-sdk=0.6.38 \ aliyun-python-sdk...
采集Python日志
本文介绍如何通过Logtail采集Python日志。背景信息 Python的logging模块提供通用的日志系统，可供第三方模块或者应用使用。logging模块定义了不同的日志级别和记录日志的方式。logging模块包括logger、handler、filter、formatter四个组件...
Python程序如何连接RDS MySQL数据库
详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准。Python2 参考如下步骤，先安装MySQLdb模块，然后使用import语句导入。通过编译或者pip安装MySQLdb。参考如下Python代码进行连接。import MySQLdb db=...
Python SDK示例：Configuration
本文为您介绍Python SDK中Configuration相关的典型场景操作示例。Configuration PyODPS提供了一系列的配置选项，可通过 odps.options 命令获得。可配置的MaxCompute选项，如下所示：通用配置 选项 说明 默认值 end_point MaxCompute ...
使用Python开发自定义Processor
Processor语言 选择 python。Processor包 单击 OSS文件导入，并选择上述步骤已打包的文件所在的OSS路径。Processor主文件 配置为./app.py。（可选）在 对应配置编辑 中添加 data_image 参数，参数内容配置为上述步骤中打包时配置的镜像路径...
使用EAIS推理PyTorch模型（Python）
背景信息 EAIS支持您根据自身业务场景选择不同的编程语言，来使用EAIS进行PyTorch模型推理，目前支持两种方式分别为：使用Python脚本推理PyTorch模型。支持使用 PyTorch script 模式或者 PyTorch eager mode 模式进行推理。本文介绍使用该...
Dataphin中Python任务的日志中出现”middle part of ...
问题描述 Dataphin中Python任务的日志中间部分出现”middle part of log InputStream omitted"导致日志显示不完整。问题原因 Dataphin中日志最大存储量为1M，前512k，后512k，多余的部分会在中间省略。解决方案 目前不支持显示更多日志信息...
通过OpenTelemetry上报Python应用数据
本文介绍如何使用OpenTelemetry Python Agent/SDK进行自动或手动埋点并上报数据。前提条件 获取接入点信息 登录 可观测链路 OpenTelemetry 版控制台。在左侧导航栏单击 集群配置，然后在右侧页面单击 接入点信息 页签。在页面顶部选择需要...
Python SDK接入指南
将得到的压缩包上传至需要运行Python API调用程序的目标主机中并解压，然后依次进入aliyun-python-sdk-core和aliyun-python-sdk-edas子目录，分别执行以下命令安装aliyun-python-sdk-core和aliyun-python-sdk-edas这两个Python SDK：root#...
如何在Debian 9上安装Python 3.7
curl-O https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz下载完成后解压 tar 压缩包。tar-xzf Python-3.7.3.tgz 切换到Python 源目录并运行 configure 脚本，该脚本将执行大量检查以确保系统上存在所有依赖项。cd Python-3.7.3./...
什么是DSW
DSW（Data Science Workshop）是为算法开发者量...AI+大数据一体化 DSW除了支持Python和R语言之外，还对接了大数据的能力，用户能够通过SQL File插件，使用SQL语句对MaxCompute数据源进行数据查询，或通过Notebook连接EMR集群提交Spark任务。
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
Flink Python作业快速入门
Python 部署模式 请选择部署为流模式或批模式。流模式 部署名称 填写对应的Python作业名称。flink-streaming-test-python 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
Python SDK示例：Project
本文为您介绍Python SDK中项目相关的典型场景操作示例。获取PyODPS项目空间 项目空间是MaxCompute的基本组织单元，详情请参见 项目。项目空间的基本操作如下：获取项目空间：使用MaxCompute入口对象的 get_project()方法获取项目空间。...
Python应用接入SLS Trace实践
本视频介绍将Python应用的Trace数据接入到日志服务的操作步骤。
使用Python SDK执行滚动升级任务
通过阿里云Python SDK，您不用复杂编程即可访问阿里云服务。本教程以运行Linux系统的电脑为例，介绍如何使用阿里云Python SDK调用 系统运维管理 OOS（CloudOps Orchestration Service）的API执行滚动升级任务。前提条件 已创建伸缩组并添加...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
基于Python ORM框架的应用开发
本文介绍基于Python ORM框架连接和使用宽表引擎的方法。前提条件 已安装Python环境，且Python为3.7及以上版本。宽表引擎为2.6.1及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已开通MySQL协议兼容功能。...
使用Python访问Hologres
Psycopg是Python用于操作PostgreSQL的库。Hologres兼容PostgreSQL 11，因此您可以通过psycopg访问Hologres。本文将指导您使用psycopg2访问Hologres，示例使用的操作环境为基于CentOS 7系统的Python 3.8版本。安装Python3.8 您可以基于...
使用Python Client提交Presto作业
本文为您介绍如何使用Python Client编程的方式访问Trino On ACK服务并执行查询操作。背景信息 Trino JDBC使用和相关参数的更多信息，请参见 trino-python-client。前提条件 已在E-MapReduce on ACK控制台创建Presto集群，详情请参见 快速...
PySpark及Python库使用
步骤二：添加依赖库并安装 根据开发需要，添加相应的依赖库 添加matplotlib库，本示例使用PyPI方式添加，详情参见 Python库管理。单击 安装 按钮，安装依赖到开发集群。等待安装完成，可单击 任务 按钮查看。步骤三：获取数据并上传对象...
Dataphin 如何创建python自定义UDF函数
问题原因 1.python脚本格式问题。2.上传之后命名出现问题。解决方案 1.python没有换行符，所以需要用制表符对代码进行对其。如下图，循环或者条件判断需要对其位置。2.上传之后如图所示，填写好正确的信息。类名是资源包名.类名，命令格式...
Dataphin如何查看Python版本
问题描述 Dataphin如何查看Python版本。解决方案 新建Shell任务进行打印输出，结果如下图：适用于 Dataphin
使用Python SDK管理Shard
更多信息，请参见 安装Python SDK。已创建Logstore。具体操作，请参见 创建Logstore。注意事项 本示例以华东1（杭州）的公网Endpoint为例，其公网Endpoint为 https://cn-hangzhou.log.aliyuncs.com 。如果您通过与Project同地域的其他阿里...
使用Python3 Kernel运行EMR PySpark
在E-MapReduce的JupyterHub中，您可以直接运行Python任务，也可以通过Python3 Kernel中的魔术命令PySpark和SQL运行任务。本文通过示例为您介绍如何运行Python3 Kernel任务，以及Python3 Kernel中的魔术命令PySpark和SQL中的参数。前提条件 ...
通过Python SDK开发Spark应用
本文主要介绍如何通过Python SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业。前提条件 已安装Python环境，且Python版本为3.7及以上版本。已创建 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版...
- 产品推荐
- 这些文档可能帮助您