基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
FC和NAS服务,并确认函数计算 FC和文件存储 NAS状态为已开通,(登录 FC控制台 https://fcnext.console.aliyun.com/overview)(登录 NAS控制台 https://nasnext.console.aliyun.com/overview)步骤8(选)开通时推荐领取阿里云的 free额度 文档版本:20240429 5 基于函数计算 FC实现大语言模型部署最佳实践 使用魔搭将社区...
来自: 最佳实践 相关产品:函数计算
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
帮助客户降低系统故障定位难度,此demo,您 将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以 显示出服务之间的调用顺序和层次关系,帮助开 发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个 来完成。当出现问题时,如请求超时、错误或 产品列表 ...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本:20240204(发布日期)基于云速搭 CADT部署药物筛选批量...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
文件存储 NAS可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。文件存储 CPFS云中完全托管的服务,可以轻松创建和运行高性能文件系统。文件存储 HDFS 版具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的分布式文件系统。表格存储 Tablestore阿里云自研的面向海量结构化数据存储的 Serverless 表存储...
来自: 云产品
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
系统盘 Cloud_essd 硬盘容量 40GiB 公网带宽 根据需要选择按固定带宽或按流量付费(本最佳 实践选择按流量付费)出口带宽 5Mbps 登录密码(自定义)安全加固 Active 文件存储 Nas组名 nas_shanghai NAS 协议类型 SMB 存储类型 性能型(为文件服务使用,选择容量型;本 实践由于库存原因这里选择性能型)文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
相关产品容器服务 ACK文件存储 NAS块存储云数据库 Redis 版性能测试 PTS云速搭 CADT一键部署ACK 实现 GPU 成本优化利用 ACK 部署 GPU 集群之后,出于成本优化的考虑,对于集群中 GPU 利用率不高的应用,比如推理的应用,建议利用阿里云 cGPU 技术将一定数量的应用跑到一块 GPU 卡上,提高利用率。对于 GPU 利用率比较高的...
来自: 云产品
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
EHPC药物筛选 最佳实践 部署架构图 场景描述 本方案适用于使用弹性高性能计算 EHPC和文件 存储 NAS来搭建基础环境,运行药物筛选应用 Autodock Vina的场景中,这里采用批处理方式 来提交作业,并可以可视化计算结果。解决问题 1.使用 EHPC运行药物筛选应用 2.使用 nas存储计算数据 3.使用 OSS保存计算结果 产品列表 弹性高...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
使用 NAS存储计算数据 最佳实践频道 阿里云最佳实践分享群 产品列表 容器服务 Kubernetes版 GPU云服务器 文件存储 NAS 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云智能 RAPIDS加速机器学习 最佳实践 文档版本:20200114 文档版本:20150122(发布日期)II ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
本案例 FTP服务器为例,具体 FTP 26 文档版本:20201013 数据迁移上云最佳实践 使用阿里云在线迁移服务进行数据迁移 务器搭建过程本文不再赘述。3.2.创建目的地址 步骤1 选择在线迁移服务>数据地址,并选择“OSS”的数据类型,数据所在区域选择“华南 1(深圳)”,然后点击创建数据地址 步骤2 在跳出的创建数据窗口中...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
使用 ECS弹性伸缩组构建集群弹性 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 云速搭 CADT 云服务器 ECS GPU云服务器 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC分子动力学 最佳实践 文档版本:20211115(发布日期)文档版本:20150122(发布日期)II...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
本例中应用 务器 web_1、web_2是对等的应用服务器,因此仅迁移一台即可,本例迁移 web_1。操作步骤 步骤1 登录云服务器 ECS控制台(https://ecs.console.aliyun.com/)步骤2 创建弹性公网 IP。文档版本:20210617 43 企业上云 workshop-IDC业务迁移上云 应用迁移 购买按量付费、按使用流量计费、带宽峰值不小于 100Mbps的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
阿里云账号下已开通以下阿里云服务:ᅳ 容器服务 ᅳ 文件存储 NAS服务 ᅳ 资源编排(ROS)服务 ᅳ 访问控制(RAM)服务 ᅳ 日志服务(SLS)ᅳ 弹性伸缩服务(ESS)ᅳ 文件存储 NAS服务 下载本文用到的操作命令和代码: CentOS主机为例:#yum-y install git#git clone https://code.aliyun.com/best-practice/061.git 遇到...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
使用 CPFS存储共享数据 产品列表 云企业网 CEN 如二维码过期,GPU云服务器 请搜索群号:31852400 并行文件存储 CPFS 文件存储 NAS服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 混合云使用飞天 AI加速工具 最佳实践 文档版本:20200114 II 混合云使用飞天AI加速工具 文档版本信息 文档...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
产品列表 云服务器 ECS GPU云服务器 GPU 批量计算 BCS 专有网络 VPC 弹性公网 IP EIP VPN网关 VPN 文件存储 NAS 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 云端影视渲染 最佳实践 文档版本:20200220 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
弹性公网 IP 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 E-HPC低成本实现 量化策略回测 文档版本:20220321 文档版本:20150122(发布日期)II E-HPC低成本实现量化策略回测 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 E-HPC低成本...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
基于HBR云上统一备份
基于HBR云上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
更多信息,请参见:https://www.aliyun.com/product/oss 文件存储 NAS:件存储 NAS是一个可共享访问,弹性扩展,高可靠,高性能的 分布式文件系统。兼容 POSIX 文件接口,可支持数千台计算节点共享访问, 挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC,AI训练 PAI等...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
服务器 ECS免去了您采购 IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用 务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。详见:https://www.aliyun.com/product/ecs 云速搭 CADT:是一款为上云应用提供自助式云架构管理的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 文 件 下 载 拷 贝 到 windows 。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本:20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导,完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
函数计算FC
阿里云函数计算(Function Compute)是一个事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码。更棒的是,您只需要为代码实际运行消耗的资源付费,代码未运行则不产生费用。
本场景使用函数计算、Serverless 工作流、对象存储OSS、日志服务 SLS、专有网络 VPC 和文件存储 NAS 服务,实现音视频转码.建议体验时长 30 分钟.基于函数计算实现音视频转码.阿里云蝉联 Forrester FaaS 领导者,产品能力再获最高分.函数计算 GPU 降幅高达 93%,阶梯计费越用越便宜.快速部署 Hello World/To do List应用/...
来自: 云产品
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储 OSS 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC工业仿真 最佳实践 发布日期:20210813 文档版本:20150122(发布日期)II EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云服务器 ECS 轻量应用服务器 文件存储NAS 负载均衡 弹性公网IP 短信服务

新品推荐

切换为移动版

新人特惠 爆款特惠 最新活动 免费试用