云原生AI套件概述
使用云原生AI套件，您可以充分利用云原生架构和技术，在Kubernetes容器平台上快速定制化构建AI生产系统，并为AI/ML应用和系统提供全栈优化。本文介绍云原生AI套件产品架构、核心功能、使用场景、使用流程等内容。视频介绍 产品架构 云原生...
什么是AI通信加速库Deepnccl
Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL（NVIDIA Collective ...
时空数据库版本发布记录
性能优化 Geometry SQL 增强 ST_AsHMT 对于落入单个网格内的几何对象的优化处理，以提升性能。Raster SQL 增强Raster Chunk读取，采用In-place内存解析的方式，以提升性能。增强 ST_ImportFrom 函数，基于Minio和HDFS文件导入时支持mapping...
时空数据库版本发布记录
性能优化 Geometry SQL 增强 ST_AsHMT 对于落入单个网格内的几何对象的优化处理，以提升性能。Raster SQL 增强Raster Chunk读取，采用In-place内存解析的方式，以提升性能。增强 ST_ImportFrom 函数，基于Minio和HDFS文件导入时支持mapping...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
使用动态子集路由加速模型服务网格推理
动态子集路由可以识别模型服务网格中每个运行时工作负载中正在运行的模型，通过ASM网关识别推理请求对应的模型，将请求精准地路由到正确的运行时工作负载，从而优化模型服务网格的路由决策，加速对推理请求的响应过程。有关动态子集路由的...
模型分析优化
模型分析工具简介 AI套件提供了模型分析优化工具，在模型正式部署前，对模型进行性能压测，分析模型网络结构、每个算子耗时、GPU使用情况等，找到性能瓶颈，然后使用TensorRT等优化模型，达到上线标准后再进行部署。模型分析优化工具的生命...
使用模型服务网格进行多模型推理服务
模型服务网格基于KServe ModelMesh实现，针对大容量、高密度和频繁变化的模型用例进行了优化，可以智能地将模型加载到内存中或从内存中卸载，以在响应性和计算之间取得平衡，简化多模型推理服务的部署和运维，提高推理效率和性能。...
服务网格工作原理
培训视频 观看以下视频，快速了解服务网格工作原理：MOSN 形态现状 目前 MOSN 属于数据面的产品，以 Sidecar 的模式和应用部署在同一个 Pod 或者在虚拟机中，属于独立进程。MOSN 最早支持基于轻量 SDK+Mesh 的方式接管网格流量。目前主要...
基于抢占式实例的弹性训练
为降低使用AI模型训练成本，云原生AI套件推出基于抢占式实例的弹性训练解决方案，该方案可以将AI模型训练这种有状态类型的工作负载运行在抢占式实例上，几乎可以做到在不影响训练作业成功率的情况下降低训练成本。优势与限制 基于抢占式...
推理加速（Blade）概述
它有机融合了计算图优化、TensorRT/oneDNN等vendor优化库、AI编译优化、Blade手工优化算子库、Blade混合精度及Blade Auto-Compression等多种优化技术，会先对模型进行分析，再对其部分或全部应用优化技术。PAI-Blade的所有优化技术均面向...
计费说明
计费项 网格管理：企业版和旗舰版在标准版的基础上增强了多协议支持以及动态扩展能力，提供精细化服务治理，完善零信任安全体系，并持续提升性能及大规模集群支持能力，降低在生产环境落地 服务网格 的门槛。ASM针对不同的实例版本会收取...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
使用ASM网格诊断
服务网格ASM支持对实例进行网格诊断，包括数据平面版本检查、服务端口检查、服务关联检查、App及Version标签检查、目标地址检查和虚拟服务冲突检查。网格诊断功能可以帮您更好地管理服务间通信，及时发现潜在问题，提升服务的可靠性、性能...
服务网格
服务网格（SOFAStack Mesh）是蚂蚁集团自主研发的基于金融级生产实践的增强版服务网格平台，将传统微服务和 Service Mesh 技术进行了深度融合，其核心技术经过了蚂蚁集团的大规模生产实践验证。它深度、无缝对接了 SOFAStack 经典应用服务...
应用场景
金融场景网络安全 当前很多公司的微服务体系建设都建立在内网可信的假设之上，然而这个原则在当前大规模上云的背景下可能显得有点不合时宜，尤其是涉及到一些金融场景的时候。通过服务网格可以更方便地实现应用的身份标识和访问控制，辅之...
AI编译器优化
AICompiler是集成在PAI-Blade中的AI编译优化组件，包含Static Shape和Dynamic Shape编译框架。通常您无需提供额外配置，AICompiler即可在通用透明的情况下帮助您提高推理性能。本文介绍如何使用AICompiler对TensorFlow和PyTorch模型进行...
什么是服务网格
服务网格（SOFAStack Mesh）是蚂蚁集团自主研发的基于金融级生产实践的增强版服务网格平台，将传统微服务和 Service Mesh 技术进行了深度融合，其核心技术经过了蚂蚁集团的大规模生产实践验证。它深度、无缝对接了 SOFAStack 经典应用服务...
开发流程
进入工作空间后，您可以使用PAI子产品进行AI开发。本文介绍如何快速上手并使用PAI及常用的AI开发流程，您可以结合实际情况选择。快速开始 您可以通过快速开始快速上手并体验PAI的训练和部署流程，详情请参见 快速开始概述。如果您想更详细...
使用操作系统Alibaba Cloud Linux 3
通过与ECS实例深度结合优化，结合内核技术优化、编译器优化、配置优化等，极大提升ACK集群中各节点的运行时性能，针对大数据、Webserver、数据库、AI等场景性能提升超30%。提供大量新的操作系统技术，提升云上体验 全面支持cgroup v2 ...
开启网格拓扑提高可观测性
功能介绍 网格拓扑作为一个 服务网格 可观测性工具，能够提供网格流量的强大可视化功能，将实时请求流量与网格配置信息相结合，提供对服务调用行为及健康状态的即时洞察，帮助您快速查明问题。网格拓扑主要提供以下能力：流量调用拓扑图：...
开启网格拓扑提高可观测性
功能介绍 网格拓扑作为一个 服务网格 可观测性工具，能够提供网格流量的强大可视化功能，将实时请求流量与网格配置信息相结合，提供对服务调用行为及健康状态的即时洞察，帮助您快速查明问题。网格拓扑主要提供以下能力：流量调用拓扑图：...
视频AI概述
视频AI服务简介 阿里云视频AI服务可以对音视频内容进行识别、分析和理解。通过使用视频AI服务，您可以：检测违规的视频内容；识别并搜索重复或相似的音视频片段；识别视频中的人物、文字、实体、场景和动作；分析理解视频用以智能生成视频...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
使用自适应配置推送优化提升控制平面推送效率
当遇到控制平面向数据平面大量推送无关配置导致效率低下时，您可以借助自适应配置推送优化功能来提升控制平面的推送效率。通过分析服务间的实际调用关系，该功能自动为服务生成优化后的Sidecar资源，仅为必要的服务推送必需的Sidecar配置，...
阿里云异构计算产品总览
随着以深度学习为代表的人工智能技术的飞速发展，AI计算模型越来越复杂和精确，人们对于算力和性能的需求也大幅度增加，因此，越来越多的AI计算都采用异构计算来实现性能加速。阿里云异构计算云服务研发了云端AI加速器，通过统一的框架同时...
时空索引介绍
网格二级索引根据Google S2算法，将空间划分成均匀大小的网格（S2Cell），每个网格对应一个唯一ID（S2CellID）。每个网格都会与一个面或多个面相交，这些相交信息都会被记录在索引中。S2索引函数说明 语法 输入几何对象和精度，计算几何...
服务网格落地
从线下环境到灰度环境，蚂蚁团队遇到了很多线下没有的大规模场景，比如：单实例数万后端节点，数千路由规则：不仅占用内存，对路由匹配效率也有很大影响。海量高频的服务发布注册：对性能和稳定性有很大挑战。整个压测优化过程历时五个月，...
控制面核心组件
Service Mesh 是蚂蚁集团下一代架构的核心，本文主要分享在蚂蚁集团当前的体量下，控制面平稳支撑大规模 Sidecar 的落地实践。主体部分将聚焦控制面核心组件 Pilot 和 Citadel，分享蚂蚁金服双十一控制面如何管理并服务好全站 Sidecar。...
为什么Sidecar的内存持续升高？
随着集群下部署的业务服务数增多，配置也会增多，导致内存变大。实时请求的流量 Envoy作为转发代理，会存在接收和响应的Buffer，以及一些请求的缓存队列，这些都会占用内存。Metrics指标发散 当Metrics指标发散时，占用的内存逐渐增多。...
变更ASM实例规格
商业版包括企业版和旗舰版，提供丰富的产品能力、强大的规模支持和完善的技术保障。本文介绍如何变更ASM实例规格。操作步骤 登录 ASM控制台，在左侧导航栏，选择 服务网格>网格管理。在 网格管理 页面，单击目标实例右侧 操作 列下的 规格...
【产品变更】ACK云原生AI套件商用收费与优惠活动公告
云原生AI套件简介 云原生AI套件是基于容器服务ACK Pro版集群（1.18.aliyun.1及以上版本）部署运行的插件化工具集，通过任务编排、调度，以及异构资源容器化统一运维，优化AI平台资源使用效率和AI工程交付速度。关于云原生AI套件的更多信息...
Operator
Service Mesh 是蚂蚁集团下一代技术架构的核心，也是蚂蚁集团内部双十一应用云化的重要一环，本文主要分享在蚂蚁集团当前的体量下，如何支撑应用从现有微服务体系大规模演进到 Service Mesh 架构，并平稳落地。为什么需要 Service Mesh？...
商业化公告
为提供更优质的服务，服务网格 ASM于2022年4月1日正式推出商业版，商业版包括企业版和旗舰版，为您提供丰富的产品能力、强大的规模支持和完善的技术保障。商业版相关的计费项和价格，请参见 计费说明。商业版上线后，您仍然可以使用之前...
概述
应用场景 特色优势 支持大规模存储：依靠阿里云视觉智能开放平台的弹性架构实现TB级数据的准实时处理。低接入成本：可视化配置事件订阅，面向事件数据编程，无需感知API差异。数据隐私合规性与保护：兼容BYOK、HTTPS传输等安全措施，租户...
什么是计算优化编译器AIACC-AGSpeed
AIACC-AGSpeed（AIACC 2.0-AIACC Graph Speeding）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，AIACC-AGSpeed是...
概述
简介 Row-oriented AI，即AI模型推理以及通过Loadable Function作为Hook来调用LLM（大语言模型）的能力，是PolarDB for AI的一个重要子功能。该功能支持用户将训练好的AI模型注册到 PolarDB 内部进行推理，并提供Native SQL能力给用户，...
ST_CostUnion
合并所有的障碍物网格开销数组，重叠的网格采用最大的开销并只保留一个，支持退化网格合并。语法 gridcost[]ST_CostUnion(gridcost[]barriers);参数 参数名称 描述 barriers 网格开销数组。描述 合并所有的障碍物网格开销数组，重叠的网格...
ST_CostUnion
合并所有的障碍物网格开销数组，重叠的网格采用最大的开销并只保留一个，支持退化网格合并。语法 gridcost[]ST_CostUnion(gridcost[]barriers);参数 参数名称 描述 barriers 网格开销数组。描述 合并所有的障碍物网格开销数组，重叠的网格...
什么是Deepytorch Training（训练加速）
Deepytorch Training是阿里云自研的AI训练加速器，为生成式AI和大模型场景提供训练加速功能。本文主要介绍Deepytorch Training在训练加速上的概念、优势及特性。Deepytorch Training介绍 Deepytorch Training面向生成式AI和大模型场景，...
- 产品推荐
- 这些文档可能帮助您