开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
OSS SDK使用中常见问题的解决方法
Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 OSS Java SDK的常见错误 Python 对象存储OSS使用Python语言实现签名Header上传的示例 使用Python操作OSS时出现“No module named oss2”报错 OSS Python SDK常见错误 ...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
PyODPS使用第三方包
这些库名必须拥有一定的后缀，可根据下表判断：平台 Python版本 可用的后缀 RHEL 5 x86_64 Python 2.7 cp27-cp27m-manylinux1_x86_64 RHEL 5 x86_64 Python 3.7 cp37-cp37m-manylinux1_x86_64 RHEL 7 x86_64 Python 2.7 cp27-cp27m-...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
在GPU实例上部署NGC环境
通过部署镜像市场的NGC容器镜像，您能简单快速地部署NGC容器环境，即时访问优化后的深度学习框架，极大程度缩减产品开发以及业务部署的时间，实现开发环境的预安装；同时支持调优后的算法框架，并且保持持续更新。NGC网站 提供了目前主流...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
定制排序模型开发指南
本篇文档将详细介绍自定义排序模型用到的JSON文件配置以及提供给用户自行实现的代码示例。介绍 本篇文档将详细介绍自定义排序模型用到的JSON文件配置以及提供给用户自行实现的代码示例。快速入门 用户需要实现 CustomModel 继承 BaseModel...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
PySpark开发示例
打包方式如下，请根据业务的复杂度进行选择：不打包直接采用公共资源 默认提供Python 2.7.13环境配置 spark.hadoop.odps.cupid.resources=public.python-2.7.13-ucs4.tar.gz spark.pyspark.python=./public.python-2.7.13-ucs4.tar.gz/...
简介
Python语言：我们用Python语言进行消费。Java 语言用法，请参考 通过消费组消费数据。Python SDK 推荐使用标准CPython解释器。日志服务的Python SDK可以使用 python3-m pip install aliyun-log-python-sdk-U 命令进行安装。更多日志服务...
在PyODPS节点中调用第三方包
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
PAI-TF概述
PAI-TF是人工智能平台PAI为了追求更极致的深度学习训练效率，优化原生Tensorflow的内核并开发周边工具，推出的一款产品。PAI-TF拥有服务化、分布式调度、全局计算调度、GPU卡映射及模型在线预测等特点。警告 公共云GPU服务器即将过保下线，...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
TensorFlow常见问题
使用TensorFlow实现图像分类，详情请参见 TensorFlow实现图像分类视频、使用TensorFlow实现图片分类 及 TensorFlow案例相关代码。使用TensorFlow自动写歌，详情请参见 TensorFlow自动写歌词 及 写歌案例。如何查看TensorFlow相关日志？查看...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
云原生AI套件开发者使用指南
usr/bin/python#-*-coding:UTF-8-*-import os import gzip import numpy as np import tensorflow as tf from tensorflow import keras print('TensorFlow version:{}'.format(tf._version_))dataset_path="/root/data/"model_path="./...
Paho-MQTT Python接入示例
本文介绍如何调用Python语言的Paho MQTT类库，将设备接入阿里云物联网平台并进行消息收发。前提条件 已在 物联网平台控制台，对应实例下，创建产品和设备，并获取 MQTT接入域名和 设备证书信息（ProductKey、DeviceName和DeviceSecret）。...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
准备工作
提交分布式训练任务时支持选择的公共镜像列表如下：类型 框架 镜像 社区镜像 TensorFlow tensorflow-training:2.3-cpu-py36-ubuntu18.04 tensorflow-training:2.3-gpu-py36-cu101-ubuntu18.04 tensorflow-training:1.15-cpu-py36-ubuntu18....
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
使用EAS Python SDK部署模型
本文为您介绍如何使用阿里云模型在线服务（EAS）的Python SDK代码将训练获得的模型部署为EAS在线服务，再使用EAS的预测SDK代码调用EAS服务，实现模型在线推理。背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用...
深度学习框架及开通说明
阿里云机器学习平台支持深度学习框架，同时提供了功能强大的GPU计算集群。您可以使用这些框架及硬件资源来使用深度学习算法。前提条件 已关联MaxCompute资源，具体操作，请参见 管理工作空间。背景信息 深度学习支持的框架包括TensorFlow...
概览
热点文章 通义千问Qwen全托管灵骏最佳实践 5分钟使用EAS一键部署LLM大语言模型应用 PAI+向量检索快速搭建大模型知识库对话 5分钟使用EAS一键部署ChatGLM及LangChain应用 Llama2-WebUI基于EAS的一键部署 5分钟操作EAS一键部署通义千问模型 ...
Python
asyncio#代码文件中导入并使用 import nest_asyncio nest_asyncio.apply()Windows下gremlin driver报NotImplementError Python 3.8以后asyncio库修改了Windows系统下默认的event loop实现方式，gremlin driver用来处理网络通信的tornado...
Python 2 UDAF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
通过ASM实现gRPC链路追踪
metadata=call.metadata.getMap()metadata.add(key,headers[key])使用Python语言通过客户端发送Headers实现基本方法。metadata_dict={} 变量填充 metadata_dict[c.key]=c.value，最终转为 list tuple 类型 list(metadata_dict.items())。...
术语解释
自定义步骤 指基于Appium引擎与Python语言编写脚本，在录制脚本中，添加非常规操作。测试状态 指兼容/功能/性能测试的执行状态，包括 等待中/运行中/已完成/已取消。执行结果 指兼容/功能/性能测试的执行结果，包括 通过/未通过/异常/未...
EmbeddingVariable
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景信息 Embedding已成为深度学习领域处理Word及ID类特征的有效途径。作为一种...
概述
使用Python语言开发产品时，您可使用物联网平台提供的Python SDK，简化开发过程，使设备快速接入物联网平台。本文简要介绍Python SDK的使用说明和功能介绍。使用说明 Python SDK分为Paho-SDK和Link SDK两个系列。Paho-MQTT Python 基于开源...
Python SDK使用说明
物联网平台提供Python语言的云端SDK供开发人员使用。本文介绍云端Python SDK的安装和配置，及使用Python SDK调用云端API的示例。安装SDK 安装Python开发环境。访问Python官网，下载Python安装包，并完成安装。目前，Python SDK支持Python的...
基于HBase非Java API的应用开发
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问 云原生多模数据库 Lindorm 宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
概述
本文介绍如何基于安全增强型实例（Intel ® SGX）部署TensorFlow Serving在线推理服务的技术架构和使用流程。背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口...
自定义Spark镜像
将ECS实例的VPC和vSwithch信息添加到容器镜像服务实例的访问控制中，才能建立ECS与企业版镜像实例之间的连接，更多信息请参见 配置专有网络的访问控制。在ECS实例中，执行以下命令，下载 AnalyticDB for MySQL Spark的默认镜像。docker ...
人工智能最佳实践
本文以Python语言为例，说明如何通过控制台，将原始图像经过函数代码处理，实现风格合成以及对象检测。应用场景与优势 传统的面向人工智能应用的GPU基础设施，通常会面临着建设周期长、运维复杂度高、集群利用率低和成本较高等问题。函数...
使用Topic通信
定义Topic后，设备可以通过Topic与物联网平台通信，从而实现设备、物联网平台、业务服务器、其他云产品之间的通信。前提条件 使用物模型Topic通信，需要先 添加物模型。使用自定义Topic通信，需要先定义产品Topic类，具体步骤请参见 使用...
- 产品推荐
- 这些文档可能帮助您