云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
GPU云服务器
GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
产品简介
通过API网关强大的适配和集成能力，可以将各种业务系统的API实现统一管理和统一调用：支持异构网络环境：无论您的业务系统部署在阿里云、本地数据中心、或其他云，API网关均可以统一管理；支持对接多种系统实现方式：您的业务系统基于ECS、...
快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
使用EAIS实例部署ChatGLM2-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本：在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
安装并使用DeepNCCL
开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。说明 关于DeepNCCL的更多信息，请参见 什么是AI...
通过云控制API实现资源管理
本文以专用网络资源为例，为您介绍如何通过云控制API实现专有网络VPC资源的全生命周期管控，其它资源的管理方法和本文一致。适用场景 适用于任何管理阿里云资源的场景。前提条件 1.您需要首先授予云控制API的RAM权限，具体操作见 为RAM用户...
（推荐）使用EAIS提供的镜像快速部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本：在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
Gateway API
使用说明 您可以在开源社区选择Gateway API实现，然后使用Gateway API配置服务网络。关于Gateway API支持的实现，请参见 Implementations。变更记录 2022年01月 版本号 变更时间 变更内容 变更影响 v0.6.0 2022年01月11日 组件上线（当前...
GPU调度概述
基于以上问题，ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的组合。关于如何使用GPU拓扑感知调度，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用...
概述
SDK基于服务API实现且提供和API相同的能力。如果您需要了解API的更多信息，请参见 API概览。SDK简介 不同语言SDK的具体实现会有所不同，但由于均是基于API在不同语言上的封装，实现的功能基本相同，主要包括如下几个方面：实现对API接口的...
使用GPU拓扑感知调度（Pytorch版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena。已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
利用 API 实现资源和成本管理
利用 BssOpenAPI 实现资源和成本管理 BssOpenAPI 提供的功能 BssOpenAPI 是阿里云提供的实例、订单、账单和卡券管理等系列工具的API集合产品。通过 BssOpenAPI 我们可以实现从产品基本信息查询，到钱账票的统一管理功能。资源概念 BssOpen...
使用GPU拓扑感知调度（Tensorflow版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena。已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
异构计算产品最佳实践概览
RAPIDS加速机器学习最佳实践 适用于使用RAPIDS加速库和GPU云服务器来对机器学习任务或者数据科学任务进行加速的场景。相比CPU，利用GPU和RAPIDS在某些场景下可以取得非常明显的加速效果。在GPU实例上使用RAPIDS加速图像搜索任务 使用RAPIDS...
开启GPU加速计算
GPU由于其特殊的硬件架构，在处理计算密集型、易于并行的程序上较...ganos.raster.use_cuda-on(1 row)Ganos中实现GPU加速计算的模块。说明 目前GPU加速计算仅在Ganos的Raster模块中应用实现，后续会增加Trajectory、Geometry模块的应用实现。
开启GPU加速计算
GPU由于其特殊的硬件架构，在处理计算密集型、易于并行的程序上较...ganos.raster.use_cuda-on(1 row)Ganos中实现GPU加速计算的模块。说明 目前GPU加速计算仅在Ganos的Raster模块中应用实现，后续会增加Trajectory、Geometry模块的应用实现。
API分组同步
本功能主要是帮助您在不同API分组之间实现API定义的快速同步。在开始同步前，建议先了解同步范围，以及需要做的一些工作。1.API分组同步范围 API分组同步功能的 同步范围包括：API分组下所选API的配置信息。API分组无法同步的数据包括：API...
阿里云SDK
阿里云OpenAPI提供多种编程语言和开发框架的SDK，方便开发者快速构建与阿里云相关的应用程序（包括Java、Python、Node.js、Go等语言）。如果您还不了解什么是OpenAPI，请参见 什么是OpenAPI？阿里云SDK的分类 云产品提供的用于使用OpenAPI...
导出标准OAS定义
结合API网关的 导入标准OAS定义，您可以：跨平台跨地域迁移数据：借助API网关的导出和导入功能，您可以方便地从其他平台或API网关导出OAS规范的API数据，并在其他地域或账号下实现API的快速导入，简化您迁移的过程；API发布与扩展：通过将...
GPU拓扑感知调度
基于以上问题，ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的组合。关于GPU拓扑感知调度如何使用，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用...
支持资源组的云服务
云服务 云服务代码 控制台 API 资源类型 资源元数据 相关文档 云服务器ECS、FPGA云服务器、GPU云服务器、块存储 ecs 是 是 ddh：DDH 资源ID、资源名称、标签 云服务转组API：JoinResourceGroup 统一转组API：MoveResources 控制台：资源组 ...
IP访问控制插件
IP访问控制插件 是 API网关 提供的 API 安全防护组件之一，负责控制 API 的调用来源 IP（支持IP段）。您可以通过配置某个 API 的 IP 白名单/黑名单来允许/拒绝某个来源的API请求。1.概述 支持白名单或黑名单方式：白名单：支持配置 IP 或者...
GPU拓扑感知调度概述
基于以上问题，ACK基于 Scheduling Framework 机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的组合。相关文档 安装GPU拓扑感知调度组件 使用GPU拓扑感知调度（Tensorflow版）使用GPU拓扑感知调度（Pytorch版）
函数计算
3 事件函数对接API网关 3.1 创建事件触发函数 函数计算控制台配置API网关触发函数执行的流程可以参考 配置API网关触发器。3.2 创建API 说明 在API网关控制台上的详细操作步骤，详见快速入门中的 创建后端为函数计算的API。本文主要对需要...
- 产品推荐
- 这些文档可能帮助您