云原生AI套件开发者使用指南
本文以开源数据集fashion-mnist任务为例，介绍开发者如何利用云原生AI套件，在ACK集群运行深度学习任务，优化分布式训练性能，调试模型效果，并最终把模型部署到ACK集群中。背景信息 云原生AI套件包括一系列可单独部署的组件（K8s Helm ...
PAI-TF模型导出和部署说明
如果您希望集成线上服务、验证性能、或者将训练好的模型提供给其他系统调用，您可以将PAI-TF模型导出并部署。本文为您介绍PAI-TF模型导出和部署相关说明，包括导出SaveModel通用模型、保存和恢复检查点以及如何将TF模型部署到EAS。警告 ...
Tensorflow
tensorflow_cpu_2.7 Tensorflow 2.7 否 tensorflow_gpu_1.12 Tensorflow 1.12 是 tensorflow_gpu_1.14 Tensorflow 1.14 是 tensorflow_gpu_1.15 Tensorflow 1.15 是 tensorflow_gpu_2.4 Tensorflow 2.4 是 tensorflow_gpu_2.7 Tensorflow 2...
步骤一：部署客户端
本文介绍如何部署客户端，包括构建SGX加密计算环境、创建加密模型、创建gRPC TLS证书等。背景信息 客户端机器会将训练完的模型以及用来建立安全连接的TLS证书进行加密，并将这些加密文件上传到阿里云SGX环境中。同时，客户端机器还将部署...
TensorFlow模型如何导出为SavedModel
本文为您介绍如何将TensorFlow模型导出为SavedModel格式。SavedModel格式 使用 EAS 预置官方Processor将TensorFlow模型部署为在线服务，必须先将模型导出为官方定义的SavedModel格式（TensorFlow官方推荐的导出模型格式）。SavedModel模型...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
使用EasyTransfer进行文本分类
EasyTransfer旨在帮助自然语言处理（NLP）场景的迁移学习开发者方便快捷地构建迁移学习模型。本文以文本分类为例，为您介绍如何在PAI-DSW中使用EasyTransfer，包括启动训练、评估模型、预测模型及导出并部署模型。前提条件 已创建PAI-DSW...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
部署PyTorch模型推理服务
PyTorch是一种深度学习计算框架，可用来训练模型。本文介绍如何通过Triton或TorchServe方式部署PyTorch模型的推理服务。前提条件 已创建包含GPU的Kubernetes集群。具体操作，请参见 创建包含GPU的Kubernetes集群。Kubernetes集群可以访问...
Llama-3开源模型全托管灵骏最佳实践
Meta已开源Llama-3，推出了8B和70B两种参数量的大语言模型。阿里云PAI灵骏智算服务是面向大规模深度学习场景的智算产品，提供一站式的异构计算资源和AI工程化平台。本方案将为您介绍如何使用阿里云PAI灵骏智算服务，以及基于Meta-Llama-3-8...
AI视频生成-ComfyUI镜像部署
EAS提供了极简部署方式，您只需配置几个参数，即可一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成服务，帮助您完成社交平台短视频内容生成、动画制作等任务。本文为您介绍如何基于ComfyUI镜像部署服务和几种常用的调用方式...
PyTorch模型性能优化示例
本文以PyTorch官方提供的Resnet50模型为例，说明如何通过PyTorch Profiler发现模型的性能瓶颈，进而使用TensorRT优化模型，然后使用Triton Inference Server部署优化后的模型。背景信息 Nvidia TensorRT是一个加速深度学习模型推理的SDK，...
添加孪生节点
（可选）单击画布中的孪生节点，在右侧配置面板，查看节点名称、节点ID和模型ID。您可双击画布中的子节点，或单击子节点名称的编辑图标，修改节点名称。您可在画布左上角输入节点名称，搜索指定孪生节点。后续操作 配置功能属性：为孪生...
使用SDK部署TensorFlow模型推理
PAI-Blade提供了C++ SDK帮助您部署优化后的模型推理。本文以TensorFlow模型为例，介绍PAI-Blade的SDK的使用方法。前提条件 已使用PAI-Blade对TensorFlow模型进行了优化，详情请参见 优化TensorFlow模型。已安装SDK并获取鉴权Token，详情请...
使用EasyASR进行语音识别
wav2letter-base alphabet4k.txt w2lplus-base.py model.ckpt.meta model.ckpt.index model.ckpt.data-00000-of-00001 transformer-small alphabet6k.txt transformer-jca-small.py model.ckpt.meta model.ckpt.index model.ckpt.data-...
EasyRec Processor（推荐打分服务）
EAS 内置的EasyRec Processor支持将EasyRec或TensorFlow训练的推荐模型部署为打分服务，并具备集成特征工程的能力。通过联合优化特征工程和TensorFlow模型，EasyRec Processor能够实现高性能的打分服务。本文为您介绍如何部署及调用EasyRec...
使用EasyASR进行语音分类
EasyASR（语音智能增强算法包）提供多种模型的训练及预测功能，旨在帮助语音智能应用开发者方便快捷地构建语音模型并应用于生产，例如语音的背景音乐检测。本文为您介绍如何在 DSW 中使用EasyASR算法包训练语音分类模型。前提条件 已创建 ...
使用Hologres和大模型免费定制专属聊天机器人
本文为您介绍如何基于Hologres向量计算能力，无需进行模型训练，即可免费、快速定制专属聊天机器人。背景信息 大模型可以广泛应用于各行各业。使用大模型定制聊天机器人，除了训练大模型的方式外，还可以使用提示词微调（Prompt-tuning）的...
Triton Inference Server镜像部署
Triton Inference Server是一个适用于深度学习与机器学习模型的推理服务引擎，支持将TensorRT、TensorFlow、PyTorch或ONNX等多种AI框架的模型部署为在线推理服务，并支持多模型管理、自定义backend等功能。本文为您介绍如何通过镜像部署的...
Stable Diffusion AIACC加速版部署文档
单击 DreamBooth 按钮进入Dreambooth finetune界面，然后单击 Create 按钮进入模型创建界面，并输入待生成的模型权重名称和生成权重的来源（已经预先准备了一个权重v1-5-pruned-emaonly.safetensors[6ce0161689]），然后单击 Create 按钮...
使用EasyRec构建推荐模型
EasyRec可以帮助您快速构建推荐模型。本文以读取MaxCompute表数据为例，介绍如何使用EasyRec进行模型训练、配置任务例行化及部署模型。前提条件 开通OSS，并创建Bucket，详情请参见 开通OSS服务 和 控制台创建存储空间。重要 创建Bucket时...
基于Kubeflow的Training示例
基于这些CRD，您可以在Kubernetes集群上运行分布式训练，无需过多关注分布式代码逻辑，也无需过多考虑集群的运维工作，可以将全部精力集中到模型开发当中，DataScience集群为您提供稳定的算力输出，以及Tensorflow和PyTorch等丰富的机器...
PAI视频分类
数据说明 视频分类相关算法支持.avi 及.mp4 等常见视频格式的原始数据，本文进行视频分类模型训练的数据分别为 eyemakeup 和 lipsmakeup，您可以下载本实验提供的测试数据、训练模型及配置文件，详情请参见 视频分类相关下载。数据格式转换...
部署Tensorflow模型推理服务
本文介绍如何通过Arena将TensorFlow模型部署成推理服务。前提条件 已创建包含GPU的Kubernetes集群。集群节点可以访问公网。已配置Arena客户端。已完成TensorFlow单机训练。操作步骤 说明 本文采用TensorFlow 1.15训练的Bert模型部署推理...
TensorFlow Serving镜像部署
TensorFlow Serving是一个适用于深度学习模型的推理服务引擎，支持将TensorFlow标准的SavedModel格式的模型部署为在线服务，并支持模型热更新与模型版本管理等功能。本文为您介绍如何使用镜像部署的方式部署TensorFlow Serving模型服务。...
dsdemo代码介绍
本文为您介绍dsdemo代码所有功能板块,以及详细的使用说明。...pure tensorflow train TENSORFLOW_TRAINING_REPOSITORY=tf-training TENSORFLOW_TRAINING_VERSION=latest TENSORFLOW_TRAINING_PUBLIC_IMAGE=datascience-registry....
功能发布记录
05月08日 地域：北京金融云 版本：通用商业版7.10、7.16和8.5版本 ES实例节点配置说明 2023年04月 功能名称 功能概述 发布时间 发布地域和版本 相关文档 支持关闭协调节点 针对Elasticsearch 7.16、8.5等高版本，支持在降配页退订已购买的...
GetModelVersion-获取模型版本
{"Processor":"tensorflow_gpu_1.12"} FormatType string 模型格式，可能值：OfflineModel SavedModel Keras H5 Frozen Pb Caffe Prototxt TorchScript XGBoost PMML AlinkModel ONNX SavedModel FrameworkType string 模型框架，可能值：...
时序模型介绍
3 创建时序模型实例 重要 创建实例前，您需要根据实际业务特点以及业务对读写性能和成本要求确定要使用的实例模型和实例规格。更多信息，请参见 计费模式使用推荐 和 实例。如果在支持时序模型功能的地域中无 创建时序模型实例 操作，请...
部署KServe模型推理服务
KServe（原KFServing）是云原生环境的一个模型服务器和推理引擎，支持自动扩缩容、缩容至零、金丝雀部署等能力。本文介绍如何基于阿里云服务网格ASM和Arena部署KServe模型推理服务。前提条件 已创建包含GPU的集群。已安装云原生AI套件。已...
使用Blade EAS Plugin优化并部署模型
EAS Plugin是 EAS 在模型部署前进行统一的前处理机制。基于该机制，Blade推出了Blade EAS Plugin，用于部署前的模型优化。相比直接使用Blade Python Wheel包进行模型优化，Blade EAS Plugin能够自动嵌入到模型的发布流程中，极大简化了集成...
优化TensorFlow模型
PAI-Blade提供了丰富的模型优化方法，您只需要在本地环境中安装Wheel包，即可通过调用Python API的方式进行模型优化。本文介绍如何使用PAI-Blade优化TensorFlow模型，所有实验结果均在NVidia T4卡上测得。前提条件 已安装TensorFlow及PAI-...
宽表模型介绍
宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部...
基于ECI的弹性推理
模型训练完成后，通常会被部署成推理服务。推理服务的调用量会随着业务需求动态变化，这就需要服务器能弹性扩缩容来节省成本。在大规模高并发的节点需求情况下，常规的部署方案无法满足此类需求。阿里云提供了基于弹性容器实例ECI（Elastic...
AI镜像构建及拉取加速方案
获取镜像节点的交换机：在左侧导航栏，选择 节点管理>节点池，单击目标节点池名称，然后单击 基本信息 页签，在 节点配置 区域，获取节点虚拟交换机地址。4、在 ACK集群Pro版 中部署业务Pod 您可以通过YAML文件拉取ACR实例中的加速镜像，...
基于ECS的弹性推理
模型训练完成后，通常会被部署成推理服务。推理服务的调用量会随着业务需求动态变化，这就需要服务器能弹性扩缩容来节省成本。在大规模高并发的节点需求情况下，常规的部署方案无法满足此类需求。阿里云容器服务提供了弹性节点池，可以基于...
服务部署：控制台
针对不同方式获取的训练模型，EAS 支持不同的部署方式。此外，EAS还提供了一系列针对特定场景的部署方式，您可以通过控制台快速将其部署为在线服务。本文介绍如何使用控制台方式部署及管理服务。前提条件 已获得训练好的模型。背景信息 您...
EmbeddingVariable
为解决上述问题，PAI-TF推出动态Embedding语义的EmbeddingVariable，在特征无损训练的条件下，以经济的方式使用内存资源，从而实现超大规模特征的离线训练和模型上线。PAI-TF提供EmbeddingVariable（3.1）及Feature_Column（3.3）API，推荐...
模型加载器
模型加载器是三维城市构建器创建模型的图层，支持独立的样式配置，包括模型加载器的通用样式、动效样式和交互样式等。本文介绍模型加载器各配置项的含义。在场景编辑器左侧图层列表中，单击 模型加载器 图层，进入配置面板配置 模型加载器 ...
成本洞察功能说明
您可以通过ACK成本洞察功能查看集群、命名空间、节点池和应用等成本可视化大盘。本文介绍如何查看集群洞察分析及成本可视化大盘。前提条件 确保Kubernetes集群的版本为1.18.8及以上，否则请升级集群。具体操作，请参见 升级ACK集群K8s版本...
- 产品推荐
- 这些文档可能帮助您