为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南（2）
为了推动 N:M 结构稀疏化，需要将一个矩阵的列拆分为 M 列的多个 slide（也称为 stripe），这样可以很容易地观察到每个 stripe 中的列顺序和 stripe 的顺序对 N:M 稀疏化产生的限制。Pool 和 Yu 提出了一种迭代式的贪心算法来寻找最优排列，使 N:M 稀疏化的权重幅...
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南（1）
本文是一篇综述性的博客，探讨总结当下常用的大型 transformer 效率优化方案。大型 Transformer 模型如今已经成为主流，为各种任务创造了 SOTA 结果。诚然这些模型很强大，但训练和使用起来代价非常昂贵。在时间和内存方面存在有极高的推理成本。概括来说，使用大型 Transforme...
OpenAI ChatGPT走红，DeepMind不甘示弱，推出剧本写作AI，一句话生成一个剧本
Dramatron似乎在一定程度上克服了AI大模型写长剧本前后不连贯的问题。你是否有过这种体验：某一天逛街的时候，脑子里突然冒出来一个好玩的故事，但你一时想不到更多的细节，也没有一块完整的时间去把它写出来？DeepMind 新出的一款剧本写作 AI——Dramatron 或许可以帮到你。Dramat...
谷歌、OpenAI学者谈AI：语言模型正在努力「攻克」数学
作者：Dan Garisto机器之心编译编辑：陈萍AI 到底擅不擅长数学，还得具体问题具体分析。如果问计算机擅长什么，在所有的答案里，数学必须榜上有名。在经历了漫长的研究之后，顶尖学者们在研究计算机关于数学计算方面的发展，取得了令人惊讶的成绩。就拿去年来说，来自加州大学伯克利分校、Op...
生成AI登上达沃斯论坛，OpenAI CEO发话称AI将迈向下一个纪元
新智元报道 编辑：Joey【新智元导读】2023年的达沃斯论坛这次邀请了OpenAI的CEO Sam Altman发表主题为「AI迈向下一个纪元」的闭幕演讲，并预测了未来AI的发展方向。过去的一年里，生成式AI（Generative AI）可谓是强势出圈...
挑战OpenAI！以色列AI21 Labs推最新语言模型：侏罗纪-X
最近，AI21 Labs完成了6400万美元的B轮融资，公司估值为6.64亿美元。本轮融资由阿伦创新资本基金牵头，Mobileye首席执行官兼联合创始人Amnon Shashua、Walden Catalyst、Pitango、TPY Capital和Mark Leslie参与，使得A21 Labs...
AI图像生成哪家强，Google 的 IMAGEN vs OpenAI 的 DALLE2
昨天我们聊到了OpenAI公司出品的DALL-E 2模型，可以轻松加愉悦的完成文本到图像的转换。可技术创新有可能不是螺旋式上升，波浪式前进的，而是飞跃式的。仅仅一个月之后，卷王Google就推出了自己的文本到图像生成模型，或者叫模型工厂，因为它的实现不仅仅是依赖于一个简单的模型，而是一堆大小模型的组...
谷歌亮出 AI“王牌”，生成超逼真图片，网友：OpenAI DALL-E 要被碾压了？
如今的AI领域出现了一波新趋势——文本到图像生成器。只要把文本描述输入这些程序，它们主涌生成与描述内容高度匹配的精准图片。这些程序还支持各种风格，从油画、CGI 渲染再到实景照片无所不包。总之，只有你想不到，没有它画不出。此前，该领域的领导者一直是DALL-E——由商业 AI 实验室 OpenAI ...
谁是全球最顶级AI实验室？DeepMind、OpenAI和FAIR霸榜前三
美国的大型科技公司如谷歌、 Facebook、亚马逊、苹果和微软，在过去十年里都建立了专门的人工智能实验室。如果问AI研究人员世界上最顶级的AI实验室是哪个？很多人无法给出答案，但说到前三名大家几乎可以给出一致意见：DeepMind、OpenAI和FAIR。这三家顶级AI实验室分别背靠谷歌、微软和F...
超摩尔定律！OpenAI官宣AI算法效率每16个月翻一番
OpenAI今天宣布将开始追踪机器学习模型的效率，并对AI算法演进的情况进行定量追踪，结果显示算法改进效率吊打摩尔定律。为了启动这一进程，Open AI发表了一份分析报告，开篇即用数据展示了算法演进的速度。报告分析显示，自2012年以来，要训练一个人工智能模型在基准测试ImageNet图像分类任务中...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
