transformer经典论文

资讯

Transformer论文六周年丨AIGC大事日报
Transformer六周年 8位作者创办多家AI独角兽。六年前，提出Transformer的论文“Attention is All You Need”被上传到了预印版论文平台arXiv上。
智东西
Transformer论文重磅更新！八子全部离职，谷歌删除所有作者邮箱
并在论文最上方，用醒目的红色字体备注:在注明出处的前提下，谷歌特此允许复制本文中的表格和数字，仅供新闻或学术著作使用。
新智元
25评论
谷歌Transformer论文合著作者离职创业放话要给AI产业探条新路
财联社8月18日讯（编辑史正丞）作为本轮AI热潮的起点，谷歌在2017年发表了题为《Attention is all you need》的经典论文，对Transformer模型做出了具有历史意义的重大改进。
科创板日报
此"错"并非真的错:从经典论文入手理解Transformer架构图错在何处
随后，Sebastian 在 Ahead of AI 发布文章专门讲述了为什么最初的 Transformer 构架图与代码不一致，并引用了多篇论文简要说明了 Transformer 的发展变化。
机器之心Pro
3评论
字节跳动提出高性能 transformer 推理库，获 IPDPS 2023 最佳论文奖
针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在保证运算正确性的前提下，成功避免了传统实现中的冗余运算，实现了端到端的推理过程的大幅优化。
字节跳动技术团队
17评论
五年时间被引用3.8万次，Transformer宇宙发展成了这样
首次出现在谷歌研究人员于 2017 年发表的著名论文《Attention is All you Need》中以及相关的博客文章中。
机器之心Pro
33评论
浅析谷歌提出的「三合一」transformer模型MaxViT+伪代码分析
为解决传统自注意力机制在图像大小方面缺乏的可扩展性，本文提出了一个简单的局部、全局自注意力与卷积三者混合的大一统模型，称之为MaxViT。
极市平台
6评论
Transformer的无限之路：位置编码视角下的长度外推综述
然而，Transformer 及在其基础之上的大语言模型都不具备有效长度外推的能力。尽管如此，作为 Transformer 的第一个 PE，正弦 APE 对之后的 PE 产生了重大影响。
机器之心Pro
2评论
高手论技 | 大模型的基石——Transformer框架
Transformer的发展历史可以追溯到2017年，谷歌公司的研究人员在发表的论文Attention Is All You Need中首次介绍了Transformer，并将其应用于机器翻译任务。
中国信息技术教育
2评论
何恺明等暴击Transformer9行代码砍掉归一化层！性能反而更强了
刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。
新智元
33评论
从头开始构建，DeepMind新论文用伪代码详解Transformer
2017 年 Transformer 横空出世，由谷歌在论文《Attention is all you need》中引入。
机器之心Pro
11评论
扩散模型和Transformer梦幻联动拿下SOTA，MILA博士：U-Net已死
论文创意性地将Transformer与扩散模型融合，在计算效率和生成效果上均超越了基于U-Net的经典模型ADM和LDM，打破了U-Net统治扩散模型的“普遍认知”。
量子位
19评论

加载更多

视频

问答

你如何理解transformer模型？
头条问答

在线举报