访问OSS数据源
云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark ...
JDBC开发实践
pip install JayDeBeApi 编写Python程序代码访问JDBC服务，代码示例如下：import jaydebeapi driver='org.apache.hive.jdbc.HiveDriver' endpoint='jdbc:hive2:/123.234.XX.XX:10009/;token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8*' jarPath='...
上传及注册
前提条件 已完成Python程序开发及调试。更多开发及调试Python程序信息，请参见 开发Python UDF。背景信息 MaxCompute Studio提供了一键式完成上传Python程序至MaxCompute及注册MaxCompute UDF操作的能力，推荐您使用该方式。您也可以在...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
ACM Python SDK
为方便 Python 程序使用 ACM 管理应用配置，ACM 提供了 Python SDK。ACM Python SDK 现已开源，使用方法请参考 Github。
编写Android测试脚本
步骤二、编写测试脚本 使用Python语言编写测试脚本，作为执行自动化测试的入口，放在项目根目录下（/main.py），文件命名为 main.py。说明 移动测试平台通过执行测试脚本 main.py，实施功能测试。示例代码及说明如下：#-*-coding:utf-8-*-...
Dataphin如何创建基于MaxCompute引用Python脚本的...
编写Python脚本（注：脚本中需根据Spark版本初始化Spark context，详情可参考MaxCompute关于PySpark的官方文档）2.上传该Python脚本至Dataphin，作为Dataphin中的资源。3.创建SPARK_JAR_ON_MAX_COMPUTE任务，并在任务中引用该资源，以下...
创建并使用自定义函数
如果MaxCompute提供的内建函数无法支撑您的业务实现，您可以通过编写代码逻辑创建自定义函数，满足您的业务需求。...在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。
Docker 作业示例
B)准备任务程序 本示例的作业程序使用 python 编写，下载本示例所需程序：log-count.tar.gz 解压到如下目录：mkdir log-count&tar-xvf log-count.tar.gz-C log-count 解压后的目录结构如下：log-count|-conf.py#配置|-split.py#split 任务...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Python脚本
如果物联应用开发（IoT Studio）平台提供的节点不能满足您的需求，您可以使用Python脚本节点，编写Python代码来实现功能逻辑。目前支持Python v2.7.9版本。且仅支持使用基本库和基本语法，不支持扩展库。编码说明 在业务逻辑编辑页面的 ...
Python程序如何连接RDS MySQL数据库
阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他形式的承诺 概述 本文主要介绍Python程序如何连接RDS MySQL数据库。详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准...
Python SDK
机器翻译 SDK GitHub 地址如下：...步骤 3 开始一个 Python 程序 现在，你可以开始使用 SDK Python SDK。使用任何文本编辑器或者 Python IDE，运行如下示例代码即可与机器翻译服务端交互并得到相应输出。示例代码详见 SDK示例（Python）
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
常见问题
为保证Python程序所有依赖均已安装，在ENV环境使用 pip install-force-reinstall 命令，确保依赖包的安装位置正确。EAS线上运行过程中，为什么无法找到ENV环境的某些系统依赖库？由于用户的开发环境无法预测，很可能与EAS线上环境存在区别...
管理笔记本
Python：用于编辑和运行Python程序。Markdown：用于进行文本编辑，支持Markdown的语法。新建笔记本 进入EMR Notebook页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench>Notebook。在Notebook页面，单击目标工作空间操作列的...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
使用MaxCompute分析IP来源最佳实践
编写UDF函数 通过编写Python UDF，将点号分割的IP地址转化为整数类型的IP地址，本示例使用DataWorks的PyODPS完成。详情请参见 开发PyODPS 2任务。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
使用MaxCompute分析IP来源最佳实践
编写UDF函数 通过编写Python UDF，将点号分割的IP地址转化为整数类型的IP地址，本示例使用DataWorks的PyODPS完成。详情请参见 创建PyODPS 2节点。进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。单击相应...
镜像管理
编写Python UDF脚本，并将其保存为 sum_pandas.py 文件。脚本示例如下：from odps.udf import annotate import pandas as pd@annotate("string,string->string")class SumColumns(object):def evaluate(self,arg1,arg2):#将输入参数转换为...
PySpark
如何上传自行开发的或者第三方开发的Module 当开发Python程序时，往往会用到自行开发的或者由第三方开发的各种Module模块，这些模块可以上传并加载到PySpark的执行环境中，被主程序调用。以计算员工的税后收入为例，步骤如下。1.准备测试...
事件请求处理程序（Event Handler）
示例三：调用外部命令 您的Python程序也可以创建 fork 进程，调用外部命令。例如，您可以使用 subprocess 模块调用Linux的 ls-l 命令，输出当前目录下的文件列表。代码示例如下。import os import subprocess def handler(event,context):...
缓存数据持久化
配置步骤 登录云服务器ECS，编写Python脚本（本文示例命名为 test.py），模拟业务场景，当从云数据库Redis缓存中查询不到结果时，从云数据库RDS MySQL中查询。警告 本示例所展示的代码仅用于演示配置方式，请勿在实际业务代码中将 user 和 ...
请求处理程序（Handler）
对Python语言的 FC 函数而言，您的请求处理程序格式为 文件名.方法名。例如，您的文件名为 main.py，方法名为 handler，则请求处理程序为 main.handler。关于 FC 函数的具体定义和相关操作，请参见 管理函数。请求处理程序的具体配置均需...
Python SDK快速入门
示例 直接编写Python代码采集日志 本示例中，创建一个 SLSQuickStart.py 文件，并调用接口分别完成创建Project、创建Logstore、创建索引、写入日志数据和查询日志数据。示例如下：from aliyun.log import LogClient,PutLogsRequest,LogItem...
在DataWorks上运行PySpark作业的最佳实践
操作步骤 可选：准备运行Python程序需要的虚拟环境。您可选择直接下载本实践的示例包 python3.7 使用；或通过如下步骤自主打包Python环境。制作Docker镜像。您可选择直接下载本实践的示例 Dockerfile文件 至本地或ECS；或在安装了Docker...
使用SSL加密465端口发送邮件
实现要点 使用SSL加密端口发送邮件的基本实现方式与使用25端口发送邮件一致，但改为SSL加密协议后，需要特别注意以下几点：编写好的程序调用外部邮箱发送邮件时，邮箱服务器需支持SSL加密功能。主机连接邮箱服务器时，请在编写好的程序中...
多语言SDK访问（公网&内网）
指定版本安装（建议安装3.x版本）pip install cassandra-driver=3.19.0#安装最新版本 pip install cassandra-driver#https://pypi.org/project/cassandra-driver/#history 编写Python访问代码。usr/bin/env python#-*-coding:UTF-8-*-...
使用Apache Airflow调度MaxCompute
步骤一：在Apache Airflow家目录编写调度Python脚本 编写作业调度Python脚本并保存为.py文件，脚本文件中会呈现完整的调度逻辑及对应的调度作业名称。假设Python脚本名称为Airiflow_MC.py，脚本内容示例如下：#-*-coding:UTF-8-*-import ...
UDF示例：Python UDF使用第三方包
编写Python UDF脚本，保存为PY格式文件。假设此处保存的脚本名称为import_numpy.py。Python UDF脚本示例如下：from odps.udf import annotate@annotate("->string")class TryImport(object):#类名为TryImport。def_init_(self):import sys ...
如何提交作业
本文解释了您的疑问：您有一个 Python 程序 test.py，在本地环境您可以 python test.py，但是在批量计算上应该如何运行呢？test.py 内容如下：print('Hello,cloud!')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您...
代码开发概述
本文列举 函数计算 支持的多语言运行时信息。背景信息 运行时提供针对不同语言的、在执行环境中运行的环境。运行时作为 函数计算 和您的函数之间的接力员，传递函数调用的事件（event）、上下文信息（context）和响应。您可以使用 函数计算...
使用程序导入数据
使用程序导入数据到 PolarDB-X 您可以自行编写程序，连接 PolarDB-X，然后读取本地数据，通过 Batch Insert 语句导入到 PolarDB-X 中。下面是一个简单的Java程序示例：/需要mysql-connector-java.jar,详情界面：...
常见问题
云工作流 提供了流程定义语言（Flow Definition Language，简称FDL）让您像编写程序代码一样实现业务逻辑。更多信息，请参见 基本介绍。云工作流 是否集成了云监控？云工作流 集成了云监控，您可以通过云监控跟踪指标、设置报警等操作。云...
CREATE TRANSFORM
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
git-filter-repo
介绍 git-filter-repo 是官方推荐用于修改 commit ...python 编写对应的 call-back 函数来定义修改规则。更多高级功能参见 https://htmlpreview.github.io/?https://github.com/newren/git-filter-repo/blob/docs/html/git-filter-repo.html
网站耗资源（客户程序故障）常见问题
当您使用普通版共享云虚拟主机建站后，可能会因为网站程序编写不合理、代码错误严重等原因，造成服务器负载急剧上升，影响您访问网站时的正常使用。这种场景就是网站耗资源（客户程序故障）现象。网站耗资源（客户程序故障）主要分为过度...
Python 3 UDTF
为确保编写Python UDTF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute SQL Type Python 3 Type BIGINT INT STRING UNICODE DOUBLE FLOAT BOOLEAN BOOL ...
Python 3 UDAF
为确保编写Python UDAF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute SQL Type Python 3 Type BIGINT INT STRING UNICODE DOUBLE FLOAT BOOLEAN BOOL ...
- 产品推荐
- 这些文档可能帮助您