探索深度学习中的序列建模新范式：Mamba模型的突破与挑战
在深度学习领域，序列建模一直是核心的研究方向之一，它在自然语言处理、音频处理、基因组学等多个领域都有着广泛的应用。传统的Transformer模型及其注意力机制虽然在很多任务上取得了显著的成绩，但其计算效率和长序列处理能力一直受限。一篇名为《Mamba: Linear-Time Sequence M...
语音识别技术的发展与未来趋势：深度学习、端到端建模与多模态融合
语音识别（Speech Recognition）技术是指将口述或语音信号转化为文本或命令的自动化过程。随着深度学习技术的快速发展，语音识别取得了长足的进步，成为人机交互、智能助理和语音控制等领域的核心技术之一。本文将详细介绍语音识别技术的发展历程，重点介绍了深度学习、端到端建模以及多模态融合等技术在...
深度学习/花书:第十章(序列建模：循环和递归网络)
一：主要流程二：为什么需要序列模型？三：网络记忆能力在RNN出现前，一些具有记忆能力的网络：1）TDNN2）自回归模型四：循环神经网络五：循环神经网络的计算图六：序列模型解决的问题七：BPTT（随时间反向传播...
深度学习进阶篇7：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。
深度学习进阶篇[7]：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。 基于Transformer模型在众多领域已取得卓越成果，包括自然语言、图像甚至是音乐。然而，Transformer架构一直以来为人所诟病的是其注意力模块的低效，即长度二次依赖限制问题...
Science：深度学习建模，AI巧手设计特定蛋白质
新智元报道 编辑：Joey 如願【新智元导读】蛋白质设计最近风头正盛，这不又来了新作品，华盛顿大学的研究人员开发了两种深度学习算法可预设计特定功能的蛋白质。蛋白质是构成生命的基石，而如何快速、准确地确定蛋白质的三维空间结构，在生命科学领域一直是个难题。&...
一文搞定深度学习建模预测全流程（Python）（下）
2.3.2 激活函数根据万能近似原理，简单来说，神经网络有“够深的网络层”以及“至少一层带激活函数的隐藏层”，既可以拟合任意的函数。可见激活函数的重要性，它起着特征空间的非线性转换。对于激活函数选择的经验性做法：对于输出层，二分类的输出层的激活函数常选择sigmoid函数，多分类选择softmax&...
一文搞定深度学习建模预测全流程（Python）（上）
一、基础介绍机器学习机器学习的核心是通过模型从数据中学习并利用经验去决策。进一步的，机器学习一般可以概括为：从数据出发，选择某种模型，通过优化算法更新模型的参数值，使任务的指标表现变好（学习目标），最终学习到“好”的模型，并运用模型对数据做预测以完成任务。由此可见...
AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
浣军博士，汉族，1975年出生于江苏苏州，华人科学家，教授，博士生导师，国际著名人工智能专家。历任美国堪萨斯大学电子工程和计算机系终身讲席正教授、博士生导师、美国国家科学基金委大数据学科主任、葛兰素制药高级访问科学家。现任百度大数据实验室主任。 2006年在...
AutoML破解深度学习寒冬论，夏粉教小白5分钟搞定机器学习建模
“AI寒冬”论调不减，但AI软硬件能力增长却是不争的事实。 OpenAI发布的数据显示，自2012年以来，AI计算力每3.5个月增长一倍，六年间这个指标已经增长了30万倍以上。 同时，AMD也在上周展示了全球首款7纳米制程的GPU芯片原型，显示硬件能力依旧与摩尔定律赛跑。 在这样的大背景下，数据挖掘...
【资源】用深度学习解决自然语言处理中的7大问题，文本分类、语言建模、机器翻译等
本文讲的是用深度学习解决自然语言处理中的7大问题，文本分类、语言建模、机器翻译等，自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中，仍然存在许多具有挑战性的问题。但是，深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。不仅仅是在一些benchmark问题上...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
