云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
应用场景
GPU云服务器应用场景 直播实时视频转码 阿里云GPU云服务器重点支持2019年天猫双11狂欢夜直播的实时视频转码，以高画质、低带宽、高分辨率、实时的综合优势服务于天猫双11狂欢夜当天直播业务4K、2K、1080P等各个分辨率的转码。具体说明如下...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
关闭对应用的GPU隔离能力
本文通过部署一个简单的示例应用向您介绍如何在集群中关闭针对应用的GPU隔离能力。适用场景 本文示例适用于已开启共享GPU显存隔离能力的专有版GPU集群及ACK Pro版集群。...相关文档 共享GPU调度概述 安装共享GPU组件 监控和隔离GPU资源
配置共享GPU调度仅共享不隔离策略
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。本文以使用GPU卡V100为例进行说明。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点标签 单击，添加如下记录：键 为 ack.node.gpu.schedule，值...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
directx-device-plugin-windows
在阿里云上使用虚拟化GPU云服务器时，directx-device-plugin-windows可以为Windows容器提供基于DirectX构建的GPU加速功能。关于虚拟化GPU云服务器的详细介绍，请参见 GPU虚拟化型。directx-device-plugin-windows仅支持v1.20.4及其以上版本...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
什么是GPU容器共享技术cGPU
即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式，而且还无缝兼容Kubernetes工作方式。操作简单 无需重编译AI应用，运行时...
为什么选择阿里云电子政务云
支持同城容灾 机房满足网信办等保合规认证 更优质的政务云服务 重保服务 专属政务安全合规服务 专属政务架构技术支持服务 专属政务售后技术团队 更严格的网络安全隔离要求 阿里云电子政务云使用独立的机房物理网络设备，业务流量与公共云...
网络架构升级
此次升级旨在优化IP资源的使用效率，加强网络安全隔离措施，并为支持同城高可用CU类型奠定基础，为您带来更加稳健和高效的数据处理体验。您可以充分了解升级计划并按照指引进行准备和升级。升级目的 优化IP资源的使用效率：大幅度减少您的...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
GPU节点调度属性标签
安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。本文介绍GPU节点调度属性标签及如何切换标签的值。GPU节点调度属性标签说明 标签ack.node.gpu....
安全沙箱概述
相比于原有Docker运行时，安全沙箱为您提供了一种新的容器运行时选项，可以让您的应用运行在一个轻量虚拟机沙箱环境中，拥有独立的内核，具备更好的安全隔离能力。安全沙箱特别适合于不可信应用隔离、故障隔离、性能隔离、多用户间负载隔离...
网络安全
私网连接提供私网访问、终端节点安全组等方式，可有效提升资源间互访时的安全...通过终端节点安全组拦截攻击流量 安全组是重要的网络安全隔离手段，终端节点安全组可以管控VPC到终端节点网卡的数据通信。具体操作，请参见 加入和管理安全组。
产品优势
安全隔离 PrivateZone对不同的VPC实现完全数据隔离，具有以下安全特性：Zone不会在Internet上被查询到，避免您的内部业务信息、内部系统架构被外界恶意探测。Zone不会在未关联的VPC内被查询到，界定了您的内部系统访问边界，将核心数据访问...
安全设置与其他
是否安全隔离代码与日志；是否进行代码强制评审，把控开发任务的代码质量；是否强制执行冒烟测试，保障任务的正确性；批量删除无用的DataBlau DDM数据模型。本文为您介绍相关功能的配置要点。使用限制 启用页面查询内容脱敏 启用页面查询...
快捷模式与安全模式差异比对
使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在DataWorks运行代码或自动调度任务，都只是下发代码至EMR集群，实际运行的身份为集群内的Hadoop用户。无法做到细粒度的权限控制。说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。...
查看和处理安全告警
查看沙箱检测 云安全中心提供了沙箱检测能力，通过在一个安全隔离的环境运行文件，分析静态和动态的文件行为数据，帮助您安全地运行可疑的应用程序，检测文件的可疑行为。当产生告警时，您可以通过沙箱检测结果辅助处置恶意程序。说明 仅...
安装并使用DeepGPU-LLM
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义...
应用场景
云账号不仅是资源的容器，也是资源安全隔离的边界。不同云账号：用于区分需要完全隔离的IT环境（开发环境或生产环境）或不同的应用项目或业务系统。单个云账号：创建不同的资源组：您可以为各个资源组设置完全独立的管理员，不同的管理员在...
为什么选择安全沙箱？
背景信息 相比原有Docker运行时，安全沙箱为您提供了一种新的容器运行时选项，具备以下特点：它可以让您的应用运行在一个轻量虚拟机沙箱环境中，拥有独立的内核，具备更好的安全隔离能力。相比社区方案（Kata Containers），安全沙箱在存储...
K8s资源管理概述
如果您对应用的运行环境有安全隔离的需求，可以创建并使用微服务空间，实现资源和服务的隔离。微服务空间 微服务空间 为应用提供互相隔离的运行环境，如开发、测试和生产环境等，您可以使用 微服务空间 实现资源和服务的隔离。EDAS默认提供...
通过Docker安装并使用cGPU服务
cGPU服务可以隔离GPU资源，实现多个容器共用一张GPU卡。该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前，请确保...
安全体系概述
运行时安全 安全沙箱管理：相比于原有Docker运行时，安全沙箱为您提供了一种新的容器运行时选项，可以让您的应用运行在一个轻量虚拟机沙箱环境中，拥有独立的内核，具备更好的安全隔离能力。安全沙箱特别适合于不可信应用隔离、故障隔离、...
内置全密态能力
安全隔离 各实体自身数据库数据明文只有自身可见，合作实体间的数据库操作通过在可信执行环境中鉴权、执行，与按权限加密分发，实现基于全密态数据库的数据操作合作与隔离。多TEE支持 支持Intel SGX、FPGA神盾卡等不同可信执行环境TEE，...
安全FAQ
用于设置单台或多台云服务器的网络访问控制，它是重要的网络安全隔离手段，您可以在云端划分安全域。每台ECS实例至少属于一个安全组，在创建实例时必须指定安全组。安全组类型分为普通安全组和企业安全组，更多信息，请参见 安全组概述。为...
权限管控与隔离
生产开发隔离 Dataphin提供了不同等级的生产开发安全隔离的方案，隔离等级从低到高的方案为：无生产开发隔离：基础的非隔离的模式运行。这种基础模式一般适用于对项目生产开发隔离无强诉求，对系统资源消耗成本有负担的用户。同租户下的...
权限管控与隔离
生产开发隔离 Dataphin提供了不同等级的生产开发安全隔离的方案，隔离等级从低到高的方案为：无生产开发隔离：基础的非隔离的模式运行。这种基础模式一般适用于对项目生产开发隔离无强诉求，对系统资源消耗成本有负担的用户。同租户下的...
- 产品推荐
- 这些文档可能帮助您