训练语言模型何需文本?Facebook发布GSLM:无需标签,从语音直接训!

训练语言模型何需文本?Facebook发布GSLM:无需标签,从语音直接训!

基于文本的语言模型如BERT、RoBERTa和GPT-3,借助Transformer的春风,近年来取得了巨大的进步。 给模型一段文本,它们就可以像人一样进行文本补全。并且它们还是全能的预训练模型,可以在此基础上针对各种自然语言处理任务进行微调,包括情感分析、翻译、信息检索、推理和摘要等等,...

训练速度远超3D CNN,提速3倍!Facebook首发「时空版」Transformer

训练速度远超3D CNN,提速3倍!Facebook首发「时空版」Transformer

  新智元报道  来源:Facebook AI编辑:LQ【新智元导读】Facebook AI推出了全新的视频理解架构TimeSformer,这也是第一个完全基于Transformer的视频架构。视频剪辑上限可达几分钟,远远超过当下最好的3D CNN,且成本更低...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

云原生多模数据库Lindorm
云原生多模数据库Lindorm
Lindorm是适用于任何规模、多种类型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,兼容HBase、Solr、SQL、OpenTSDB等多种开源标准接口,是互联网、IoT、车联网、广告、社交、监控、游戏、风控等场景首选数据库,也是为阿里巴巴核心业务提供支撑的数据库之一。
1211+人已加入
加入
相关电子书
更多
Facebook iOS App技术演化十年之路
Facebook Online Schema Change原理和大规模表结构变更最佳实践
立即下载 立即下载