节点运行ECS机器上的脚本
本实践通过在节点中使用Python第三方模块 Paramiko，实现远程连接ECS并调用ECS上指定路径的Shell脚本执行，同时，提供两类节点登录ECS的代码示例。注意事项 通过DataWorks节点运行ECS机器上的脚本，当DataWorks侧对应节点终止运行时，已经...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
如何获取Nacos-Client的日志？
Python Nacos-Client Python语言的Nacos-Client使用Python的Logging模块，会和应用的Logging模块保持一致并输出到应用的日志中。C++ Nacos-Client C++语言的Nacos-Client的日志默认在应用所在目录下，文件名为 nacos-sdk-cpp.log,可通过 ...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
其他子产品SDK参考文档
AIGC文生图模型微调及WebUI部署 介绍如何在 DSW 中，使用Python SDK基于AIGC Stable Diffusion文生图Lora模型进行模型微调实现虚拟上装。EAS SDK文档入口链接 使用C或C++开发自定义Processor 通过使用示例来介绍如何使用C或C++开发自定义...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
基于HBase非Java API的应用开发
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问 云原生多模数据库 Lindorm 宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
多语言API访问
说明 一些语言提供了管理依赖的方法，可以遵循这些语言的使用习惯来安装thrift，如Python语言可以通过 pip install thrift 来安装，Go语言可以直接在代码里 import {"github.com/apache/thrift/lib/go/thrift"} 。下载 HBase Thrift2定义...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
链路追踪
在Python语言的代码中，您可以通过OpenTelemetry SDK手动埋点将数据上报到链路追踪服务端。完整的示例代码，请参见 python-tracing-openTelemetry。示例代码解析如下。在工程目录中配置依赖文件 requirements.txt。opentelemetry-api=1.12....
SDK概述
弹性加速计算实例EAIS提供Python和Java的SDK来方便您通过API创建和管理资源。本文介绍弹性加速计算实例EAIS支持的SDK列表和获取地址。...Python语言的SDK使用示例，请参见 Python示例。Java语言的SDK使用示例，请参见 Java示例。
概述
使用Python语言开发产品时，您可使用物联网平台提供的Python SDK，简化开发过程，使设备快速接入物联网平台。本文简要介绍Python SDK的使用说明和功能介绍。使用说明 Python SDK分为Paho-SDK和Link SDK两个系列。Paho-MQTT Python 基于开源...
通过HBase非Java SDK访问Lindorm宽表引擎
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问云原生多模数据库Lindorm宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
Python作业开发
本文为您介绍Flink Python ...在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件，详情请参见 使用Python依赖。实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
使用 mPaaS Xcode Extension
本文将对 mPaaS Xcode Extension 的使用进行详细介绍，主要包括以下方面：启动 mPaaS Xcode Extension 新建工程 编辑工程 基础工具 常见问题 Preferences 设置 评分及评论 启动 mPaaS Xcode Extension 在 macOS 的 应用程序 中找到 mPaaS ...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
拷贝文件
允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，如x-oss-copy-source:/SourceBucketName/SourceObjectName?versionId=111111。说明 SourceObjectName要进行URL编码。响应中将会返回被...
UDF开发（Python2）
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
Python 2 UDAF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
Python 2 UDTF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
参数说明
fs.oss.copy.simple.max.byte 134217728 使用普通接口进行OSS内部拷贝文件的大小上限。fs.oss.multipart.split.max.byte 67108864 使用普通接口进行OSS内部拷贝文件的分片大小上限。fs.oss.impl EMR-3.24.0及后续版本：...
数据迁移概述
您可以在迁移过程中使用镜像回源规则获取未迁移至OSS的部分数据，保证服务的正常运行。回源概述 OSS跨区域复制 适用于不同地域的源Bucket A与目标Bucket B数据同步场景。说明 可通过设置跨区域复制功能指定文件名前缀进行同步，只同步特定...
Python 3 UDAF
您可以在参数列表中使用*，表示接受任意长度、任意类型的输入参数。例如@annotate('double,*->string')表示接受第一个参数是DOUBLE类型，后接任意长度、任意类型的参数列表。此时，您需要自己编写代码判断输入的个数和参数类型，然后对它们...
常见问题
JavaSDK实现数据流分片上传的代码样例 对象存储OSS使用JavaSDK的ContentMD5提示“log4j”错误 设置跨域规则后调用OSS时仍然报“No 'Access-Control-Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 Python Python SDK...
数据安全
数据传输安全 PAI支持使用Python官方SDK或自行实现调用逻辑的方式对服务进行VPC高速直连调用，以实现模型部署服务的安全访问。通过VPC的网络隔离能力，实现数据的传输安全。同时，EAS支持HTTPS加密传输，访问服务时，将访问地址中的 http ...
简介
模块与应用 应用是由模块与配置组成，系统每新建一个应用，则针对该应用创建一个应用主模块，该应用创建的内容都包含在该模块中，该模块名称与应用名称相同，当应用发布后，同时提交一个新的版本至模块版本，并同步应用版本描述至模块版本...
删除Doc
本文介绍如何通过Python SDK，根据ID或ID列表删除Collection中已存在的Doc。说明 如果指定id不存在，则删除对应Doc的操作无效。前提条件 已创建Cluster：创建Cluster。已获得API-KEY：API-KEY管理。已安装最新版SDK：安装DashVector SDK。...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
简介
Python语言：我们用Python语言进行消费。Java 语言用法，请参考 通过消费组消费数据。Python SDK 推荐使用标准CPython解释器。日志服务的Python SDK可以使用 python3-m pip install aliyun-log-python-sdk-U 命令进行安装。更多日志服务...
使用get_rds_backup.py工具下载RDS MySQL备份文件的...
通过执行该命令，您可以安装阿里云RDS SDK并在Python中使用它进行RDS服务的操作和管理。pip install aliyun-python-sdk-rds 确认本地服务器能访问RDS实例的外网地址。说明 如果RDS实例还没有外网地址，请参见 申请外网地址。如果没有添加白...
获取Doc
本文介绍如何通过Python SDK，根据ID或ID列表获取Collection中已存在的Doc。说明 如果指定id不存在，则该id对应的Doc为空。前提条件 已创建Cluster：创建Cluster。已获得API-KEY：API-KEY管理。已安装最新版SDK：安装DashVector SDK。接口...
迁移HDFS数据到OSS-HDFS
Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。Jindo DistCp全量支持HDFS之间、HDFS与OSS之间、HDFS与OSS-HDFS之间以及OSS-HDFS之间数据...
Python计算型
serverless_config_django.py 如果你的 Python 应用使用的是 django 框架，请将此文件重命名为 serverless_config.py FRAMEWORK，将 module 设置为您的 django 应用包名称 serverless_config_flask.py 如果你的 Python 应用使用的是 flask ...
获取Partition列表
本文介绍如何通过Python SDK获取Collection中所有Partition名称的列表。前提条件 已创建Cluster：创建Cluster。已获得API-KEY：API-KEY管理。已安装最新版SDK：安装DashVector SDK。接口定义 Python Collection.list_partitions()->...
迁移HDFS数据到OSS
说明 如果您需要在开源Hadoop集群环境中使用lzo的压缩方式，请确保已安装gplcompression的native库和hadoop-lzo包。如果缺少相关环境，建议使用其他压缩方式进行压缩。codec gz-policy 指定拷贝到OSS后的文件类型。取值：ia：低频访问 ...
- 产品推荐
- 这些文档可能帮助您