UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
编写Android测试脚本
步骤二、编写测试脚本 使用Python语言编写测试脚本，作为执行自动化测试的入口，放在项目根目录下（/main.py），文件命名为 main.py。说明 移动测试平台通过执行测试脚本 main.py，实施功能测试。示例代码及说明如下：#-*-coding:utf-8-*-...
编写iOS测试脚本
配置环境 本文以iOS 10为例进行说明，相应环境要求如下：macOS 10.11.5及以上 Xcode 8.0及以上 Appium 1.6.0及以上 创建Capabilities文件 使用Python语言编写Capabilities文件，指定执行测试脚本所需测试环境，文件命名为 desired_...
安装faascmd
安装Python模块。执行以下命令，检查Python版本。python-V 回显结果如下所示，例如Python版本为2.7.5（需确保Python版本为2.7.x）。运行以下命令，安装Python模块。pip-q install oss2 pip-q install aliyun-python-sdk-core pip-q install...
Dataphin如何创建基于MaxCompute引用Python脚本的...
编写Python脚本（注：脚本中需根据Spark版本初始化Spark context，详情可参考MaxCompute关于PySpark的官方文档）2.上传该Python脚本至Dataphin，作为Dataphin中的资源。3.创建SPARK_JAR_ON_MAX_COMPUTE任务，并在任务中引用该资源，以下...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。...在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。
使用Nginx+uWSGI部署Django项目
Django是一个开源的Web应用框架，使用Python语言编写，主要用于搭建Web项目。本教程介绍如何在Linux服务器中使用Nginx+uWSGI部署Django项目。准备工作 创建部署Django项目的ECS实例，ECS实例必须满足以下条件：实例已分配公网IP地址或绑定...
使用EAIS推理PyTorch模型（Python）
本示例以resnet50模型推理、pytorch_resnet50.py脚本为例，脚本内容如下：#导入torch模块 import torch#导入eais提供的python模块 import eais.torch_eais#导入参数解析模块 import argparse if_name_='_main_':parser=argparse....
Python脚本
如果物联应用开发（IoT Studio）平台提供的节点不能满足您的需求，您可以使用Python脚本节点，编写Python代码来实现功能逻辑。目前支持Python v2.7.9版本。且仅支持使用基本库和基本语法，不支持扩展库。编码说明 在业务逻辑编辑页面的 ...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
使用Pulumi快速创建Linux服务器
本文将介绍使用Python语言和Pulumi在阿里云指定区域和可用域中快速创建一台Linux云服务器。任务描述 新建一个Pulumi项目 部署一台Linux服务器 Linux服务器位于指定的区域和可用区，使用专用网络并配置好安全组规则。前置要求 Python 版本为...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
使用MaxCompute分析IP来源最佳实践
编写UDF函数 通过编写Python UDF，将点号分割的IP地址转化为整数类型的IP地址，本示例使用DataWorks的PyODPS完成。详情请参见 开发PyODPS 2任务。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
使用MaxCompute分析IP来源最佳实践
编写UDF函数 通过编写Python UDF，将点号分割的IP地址转化为整数类型的IP地址，本示例使用DataWorks的PyODPS完成。详情请参见 创建PyODPS 2节点。进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。单击相应...
使用EAIS推理TensorFlow模型
Python脚本开发说明 相较于普通推理流程，您仅需要在进行推理前，在原有推理脚本的基础上添加一行 import eais_tensorflow 导入EAIS提供的Python模块，即可使用EAIS推理TensorFlow模型。假设您的TensorFlow模型推理初始源代码如下所示：#...
缓存数据持久化
配置步骤 登录云服务器ECS，编写Python脚本（本文示例命名为 test.py），模拟业务场景，当从云数据库Redis缓存中查询不到结果时，从云数据库RDS MySQL中查询。警告 本示例所展示的代码仅用于演示配置方式，请勿在实际业务代码中将 user 和 ...
Python SDK常见问题
编写Python函数。计算两点之间的距离有多种计算方法，例如欧氏距离、曼哈顿距离等，您可以定义一系列函数，在计算时根据具体情况调用相应的函数即可。def euclidean_distance(from_x,from_y,to_x,to_y):return((from_x-to_x)*2+(from_y-to_...
多语言SDK访问（公网&内网）
指定版本安装（建议安装3.x版本）pip install cassandra-driver=3.19.0#安装最新版本 pip install cassandra-driver#https://pypi.org/project/cassandra-driver/#history 编写Python访问代码。usr/bin/env python#-*-coding:UTF-8-*-...
PyODPS常见问题
编写Python函数。计算两点之间的距离有多种计算方法，例如欧氏距离、曼哈顿距离等，您可以定义一系列函数，在计算时根据具体情况调用相应的函数即可。def euclidean_distance(from_x,from_y,to_x,to_y):return((from_x-to_x)*2+(from_y-to_...
使用Apache Airflow调度MaxCompute
步骤一：在Apache Airflow家目录编写调度Python脚本 编写作业调度Python脚本并保存为.py文件，脚本文件中会呈现完整的调度逻辑及对应的调度作业名称。假设Python脚本名称为Airiflow_MC.py，脚本内容示例如下：#-*-coding:UTF-8-*-import ...
UDF示例：Python UDF使用第三方包
编写Python UDF脚本，保存为PY格式文件。假设此处保存的脚本名称为import_numpy.py。Python UDF脚本示例如下：from odps.udf import annotate@annotate("->string")class TryImport(object):#类名为TryImport。def_init_(self):import sys ...
Docker 作业示例
作业准备 本作业程序使用 python 编写，目的是统计一个日志文件中“INFO”，”WARN”，”ERROR”，”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge。split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中...
在函数中配置官方公共层
公共层名称 兼容的运行时 说明 使用前必读 Python310 Custom Custom.Debian10 Python 3.10.5运行时层 README.md Python310-Package-Collection Custom Custom.Debian10 Python 3.10运行时的常用依赖库集合 README.md Python39 Custom ...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
在函数中配置官方公共层
公共层名称 兼容的运行时 说明 使用前必读 Python310 Custom Custom.Debian10 Python 3.10.5运行时层 README.md Python310-Package-Collection Custom Custom.Debian10 Python 3.10运行时的常用依赖库集合 README.md Python39 Custom ...
Python SDK 快速开始
(2)上传任务程序到OSS 本例的作业程序是使用 python 编写的，下载本例子所需的程序：log-count.tar.gz 本例不需要改动示例代码。直接将 log-count.tar.gz 上传到 oss，如上传到：oss:/your-bucket/log-count/log-count.tar.gz 如何上传前面...
普通作业快速开始
准备任务程序 本例的作业程序是使用 python 编写的，下载本例所需的程序：log-count.tar.gz 使用下面的目录解压：mkdir log-count&tar-xvf log-count.tar.gz-C log-count 解压后的log-count/目录结构如下 log-count|-conf.py#配置|-split....
PyODPS概述
提供简单方便的Python编程接口，以便您使用Python编写MaxCompute作业、查询MaxCompute表和视图，以及管理MaxCompute资源。PyODPS提供了与ODPS命令行工具类似的功能，例如上传和下载文件、创建表、运行ODPS SQL查询等，同时提供了一些高级...
如何排查自动化模板编辑脚本保存异常？
背景信息 云网管自动化模块支持运行用户编写Python代码，出于安全性的考虑，会对代码做出一定的限制。排查 一般自动化模板编辑脚本保存异常有以下原因：Python语法错误。没有定义与模板同名的函数。使用了不安全的变量名or被限制的关键字。
通过JDBC连接Spark Thrift Server提交Spark作业
Python：编写Python代码进行连接。Beeline客户端连接Spark Thrift Server 执行如下命令，进入Beeline客户端。beeline 返回如下信息 Beeline version 2.3.7 by Apache Hive 执行如下命令，连接Spark Thrift Servert。connect jdbc:hive2:/{...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
安装cloud-init
CentOS/Red Hat Enterprise Linux：sudo yum-y install python3-pip Ubuntu/Debian：sudo apt-get-y install python3-pip OpenSUSE/SUSE：sudo zypper-n install python3-pip 运行以下命令下载阿里云版cloud-init。wget ...
使用WebIDE打包函数第三方依赖
Python Python运行时已经内置部分第三方库。更多信息，请参见 Python内置模块。如果您需要安装其他第三方库，可以在终端默认的/code 目录执行以下命令。pip install-t.flask#或 pip install-t.-r requirements.txt 使用上述方式，您的代码...
使用WebIDE打包函数第三方依赖
Python Python运行时已经内置部分第三方库。更多信息，请参见 Python内置模块。如果您需要安装其他第三方库，可以在终端默认的/code 目录执行以下命令。pip install-t.flask#或 pip install-t.-r requirements.txt 使用上述方式，您的代码...
快速入门
步骤四：编写Airflow Python脚本 Airflow的调度需要手动编写Python脚本来构建DAG，EMR Studio自动将指定OSS路径内的Python脚本同步至Airflow DAGs，因此，您可以在编辑和上传完DAG脚本之后，进入数据开发工作台，在左侧导航栏中，单击 ...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
准备环境
在使用Python SDK收发消息前，您需按照本文提供的内容来准备环境。环境要求 安装Python。更多信息，请参见 安装...安装完成后，您可以执行 python-V 命令查看Python语言版本。安装SDK 执行以下命令，安装Python SDK。pip install mq_http_sdk
- 产品推荐
- 这些文档可能帮助您