使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
Python作业开发
本文为您介绍Flink Python ...在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件，详情请参见 使用Python依赖。实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
告警规则指标说明
线程池使用率 是 线程池中正在使用的线程数与线程池总线程数之比，反映了当前线程池的使用情况。指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控...
DSW连接EMR集群
集群中Executor使用的Python环境中没有安装PySpark应用中依赖的包，推荐使用spark.archives配置将本地Python环境同步到远端，或者手动在集群每个Worker节点安装相关依赖。创建PySpark内核并初始化完成后，新建Notebook时，下拉列表里没有...
队列使用手册
本文介绍如何使用Python SDK中的sample代码，完成创建队列、发送消息、接收和删除消息、以及删除队列操作。步骤一：准备工作 下载最新版Python SDK，解压后进入 mns_python_sdk 子目录。打开 sample.cfg 文件，配置AccessKeyId、...
主题+QueueEndpoint使用手册
本文介绍如何使用Python SDK中的sample代码，完成创建主题、创建队列、创建订阅、发布消息和删除主题等操作。步骤一：准备工作 下载最新版Python SDK，解压后进入 mns_python_sdk 子目录。本文示例代码以Python 2.x为例。打开 sample.cfg ...
Flink Python参考
使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 方式一：在DataFlow集群中的某个节点创建Python虚拟环境 在DataFlow集群的...
Python 3 UDTF
为确保编写Python UDTF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute SQL Type Python 3 Type BIGINT INT STRING UNICODE DOUBLE FLOAT BOOLEAN BOOL ...
Python 3 UDAF
为确保编写Python UDAF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute SQL Type Python 3 Type BIGINT INT STRING UNICODE DOUBLE FLOAT BOOLEAN BOOL ...
UDF开发（Python3）
为确保编写Python UDF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute SQL Type Python 3 Type BIGINT INT STRING UNICODE DOUBLE FLOAT BOOLEAN BOOL ...
其他子产品SDK参考文档
AIGC文生图模型微调及WebUI部署 介绍如何在 DSW 中，使用Python SDK基于AIGC Stable Diffusion文生图Lora模型进行模型微调实现虚拟上装。EAS SDK文档入口链接 使用C或C++开发自定义Processor 通过使用示例来介绍如何使用C或C++开发自定义...
UDF示例：Python UDF使用第三方包
如果您使用Windows环境，推荐在 Docker 的quay.io/pypa/manylinux2010_x86_64镜像容器中使用对应版本的Python（/opt/python/cp27-cp27m/bin/python 或/opt/python/cp37-cp37m/bin/python3）编译生成WHEEL包。以Linux环境为例，确保环境兼容...
Dataphin中Python脚本如何使用本地csv文件
概述 本文为您介绍Dataphin中Python脚本如何使用本地的文件。详细信息 1.在dataphin中先通过资源管理模块上传本地文件。2.点击上传文件的详细信息，复制引用路径。3.在Python脚本中声明该文件，即可引用。适用于 Dataphin
常见问题
spark.sql.hive.outputCommitterClass=org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter spark.sql.sources.outputCommitterClass=org.apache.hadoop.mapreduce.lib.output....，来查找系统中使用最多线程的进程是什么...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
查询ECS实例
安装ECS Python SDK 首先确保您已经具备Python的Runtime，本文中使用的Python版本为2.7+。运行以下命令，安装Python SDK：pip install aliyun-python-sdk-ecs 如果提示您没有权限，请切换 sudo 继续执行。sudo pip install aliyun-python-...
一键诊断
A：按照线程使用率的计算公式，当活跃线程数超过最大线程数，就会出现使用率大于100%的情况，而RDS MySQL线程池的实现方式比较特殊，没有严格限制活跃线程的数量，存在活跃线程数超过最大线程数的情况。了解更多 关于自动SQL诊断的详细技术...
DAS的一键诊断功能中如何计算会话的线程使用率、连接...
概述 本文主要介绍阿里云数据库自治服务DAS的一键诊断功能中，如何计算会话的线程使用率、连接数使用率和最大线程数。详细信息 RDS MySQL的计算公式如下：线程使用率=活跃线程数/最大线程数 连接数使用率=当前连结数/实例规格最大连接数 ...
一键诊断
A：按照线程使用率的计算公式，当活跃线程数超过最大线程数，就会出现使用率大于100%的情况，而RDS MySQL线程池的实现方式比较特殊，没有严格限制活跃线程的数量，存在活跃线程数超过最大线程数的情况。了解更多 关于自动SQL诊断的详细技术...
一键诊断
在数据库出现故障时，您可以利用一键...A：按照线程使用率的计算公式，当活跃线程数超过最大线程数，就会出现使用率大于100%的情况，而RDS MySQL线程池的实现方式比较特殊，没有严格限制活跃线程的数量，存在活跃线程数超过最大线程数的情况。
使用get_rds_backup.py工具下载RDS MySQL备份文件的...
通过执行该命令，您可以安装阿里云RDS SDK并在Python中使用它进行RDS服务的操作和管理。pip install aliyun-python-sdk-rds 确认本地服务器能访问RDS实例的外网地址。说明 如果RDS实例还没有外网地址，请参见 申请外网地址。如果没有添加白...
中文和时间
本文介绍使用Python SDK时所用到的中文和时间知识。中文 在Python代码中如果使用了中文字符，运行时会出错。因此，您需要在代码的开头部分加入字符编码的声明，例如：#-*-coding:utf-8-*-数据类型 Python 2.x支持以下两种数据类型：数据...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
Python使用说明
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
Flink Python作业快速入门
说明 在Python作业中使用其他依赖（例如自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等）的方法请参见 使用Python依赖。步骤三：创建作业 流作业 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在 作业运维 ...
线程池和连接池监控
您可以通过线程池和连接池监控功能监控具体应用所使用的线程池或连接池的各项指标，包括核心线程数量、当前线程数量、最大线程数量、活跃线程数量、任务队列容量。前提条件 接入应用监控 重要 仅专家版支持线程池和连接池监控功能。开启...
SDK概述
目前文档智能支持Java、Python3、Nodejs、CSharp、Go这些编程语言的SDK，使用指南中提供了如何使用包管理工具进行安装的方法，例如maven、pip，也可直接使用SDK下载链接获取安装包：SDK语言 SDK下载链接 使用指南 Java 文档智能Java语言sdk...
PyODPS制作第三方包
在MaxCompute中使用Python 2.7包的打包命令：pyodps-pack-mcpy27 pandas 在DataWorks中使用Python 2.7包的打包命令：pyodps-pack-dwpy27 pandas 打包自定义代码 pyodps-pack 支持打包使用 setup.py 或 pyproject.toml 组织的用户自定义...
Dataphin中创建python自定义函数方法
产品名称 Dataphin 产品模块 自定义函数 概述 描述如何创建python自定义函数。问题描述 请问在Dataphin中如何创建python自定义函数？问题原因 NA 解决方案 第一步：创建...第四步：即席查询中使用python自定义函数。更多信息 NA 相关文档 NA
PySpark
示例中使用Python 3执行文件，和社区版的Spark相同，通过 spark.kubernetes.pyspark.pythonVersion 配置使用的Python版本，默认为Python 2.7。单击 执行。如何上传自行开发的或者第三方开发的Module 当开发Python程序时，往往会用到自行...
更新软件
Linux发行版中的软件包会不断更新，以添加新功能、修复错误、提供安全更新等，您可以根据需要更新至最新版软件。本文以在CentOS、Debian、Ubuntu和OpenSUSE操作系统为例，为您介绍本文介绍如何在不同Linux发行版上，更新单个软件或全部软件...
局部异常因子异常检测
组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 节点个数，与参数 单个节点内存大小 配对使用，正整数。范围[1,9999]。单个节点内存大小，单位M 单个节点内存大小，单位MB，正整数。范围[1024,64*1024]。方式二：...
读写OSS数据
本文为您介绍如何使用OSS Python SDK及OSS Python API读写OSS数据。背景信息 对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本及高可靠性的云存储服务。DSW 不仅预置NAS文件系统，而且对接OSS存储。如果您需要频繁...
链路追踪
在Python语言的代码中，您可以通过OpenTelemetry SDK手动埋点将数据上报到链路追踪服务端。完整的示例代码，请参见 python-tracing-openTelemetry。示例代码解析如下。在工程目录中配置依赖文件 requirements.txt。opentelemetry-api=1.12....
服务端线程池配置
线程池最小配置：Dhsf.server.min.poolsize 线程池最大配置：Dhsf.server.max.poolsize 线程收敛的存活时间：Dhsf.server.thread.keepalive 服务线程池配置 对于一些慢服务、并发高，可以为其单独配置线程池，以免占用过多的业务线程，影响...
- 产品推荐
- 这些文档可能帮助您