大模型开发：什么是Transformer架构及其重要性？
Transformer架构是一种深度学习模型，它在自然语言处理领域取得了显著的成功。 Transformer架构的重要性主要体现在以下几个方面： 高效的并行计算：与传统的循环神经网络（RNN）和卷积神经网络（CNN）相比，Transformer能够更高效地处理大规模数据集，...
Transformer 架构—Encoder-Decoder
前言 最初的Transformer是基于广泛应用在机器翻译领域的Encoder-Decoder架构： Encoder： 将由 token 组成的输入序列转成由称为隐藏状态（hidden state）或者上下文（context）的embedding向量组成的序列。 Decoder： 根据 Encode...
Mamba详细介绍和RNN、Transformer的架构可视化对比
Mamba: Linear-Time Sequence Modeling with Selective State Spaces一文中提出了Mamba，我们在之前的文章中也有详细的介绍。 在本篇文章中，通过将绘制RNN，transformer，和Mamba的架构图，并进行详细的对比，这样我们可以更详...
Transformer类架构的发展带动多模态融合
随着人工智能领域的不断蓬勃发展，一种被称为Transformer类架构的新型神经网络结构在图像生成领域崭露头角。传统的卷积神经网络在高分辨率图像生成方面面临一些困难，这促使了对新型架构的急切需求。Transformer类架构的成功在自然语言处理领域引起了广泛关注，并推动了它在图像生成领域的探索。其全...
另一种替代Transformer架构将得到有意义的采用
随着人工智能的迅猛发展，Transformer作为自然语言处理和其他领域的主要架构，取得了显著的成功。然而，随着应用场景的不断扩大，Transformer也暴露出一些局限性，尤其是在处理长序列时的性能瓶颈。在这样的背景下，曼巴等新一代架构的涌现，引领着人工智能领域迎来一场革命。 曼巴的独特之处在于其...
挑战Transformer的新架构Mamba解析以及Pytorch复现
Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序列的任何部分都可以动态地与任何其他部分相互作用，特别是具有因果注意力机制的的Tr...
此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处
从四篇论文入手，Sebastian 再谈 Transformer 架构图。前段时间，一条指出谷歌大脑团队论文《Attention Is All You Need》中 Transformer 构架图与代码不一致的推文引发了大量的讨论。对于 Sebastian 的这一发现，有人认为属于无心之过，但同时也...
在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数
机器之心编辑部Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上呈线性增长，但由于并行化和可扩展性的限制，很难达到与 Transformer 相同的性能水平...
解读UTNet | 用于医学图像分割的混合Transformer架构（文末获取论文）
1简介Transformer架构已经在许多自然语言处理任务中取得成功。然而，它在医学视觉中的应用在很大程度上仍未得到探索。在这项研究中，本文提出了UTNet，这是一种简单而强大的混合Transformer架构，它将自注意力集成到卷积神经网络中，以增强医学图像分割。UTNet在编码器和解码器中应用自注...
ICLR盲审阶段就被评审赞不绝口的论文：会是Transformer架构的一大创新吗？
首次！无残差连接或归一化层，也能成功训练深度transformer。尽管取得了很多显著的成就，但训练深度神经网络（DNN）的实践进展在很大程度上独立于理论依据。大多数成功的现代 DNN 依赖残差连接和归一化层的特定排列，但如何在新架构中使用这些组件的一般原则仍然未知，并且它们在现有架构中的作用也依然...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
