Transformer八周年，Attention Is All You Need被引破18万封神

2025-07-02 13:51:06 | 来源: AICG工具箱

Transformer，八岁了！

开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。

Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。

更重要的是，它让人类真正跨入了生成式AI时代。

人类和生成式AI的命运从2017年6月12日周一下午17点57分开始交汇。

Transformer的影响依然还在继续！

到今天为止，这篇论文的被引次数已经到了184376！

而在两年前的6周年时候，被引次数是77926。

仅仅过去两年时间，被引用次数翻了2倍还多！

网友们也纷纷为Transformer 8岁生日送上祝福。

但和所有传奇故事的开头都非常相似，这篇论文当年甚至没有引起人们的Attention（注意）。

一篇未获人们「Attention」的传奇论文

Transformer发表在2017年的NeurIPS上，这是全球顶级的人工智能会议之一。

然而，它甚至没有获得Oral演讲，更不用说获奖了。

2017年的NeurlPS获奖论文

从如今的影响力和现实意义来看，谷歌公开这篇文章算得上是「功德无量」。

网友也盛赞谷歌的做事方式，允许任何人完全免费使用，甚至不需要许可证授权。

但随着生成式AI的发展，各家巨头的加入，谷歌也开始逐渐收回自己的「善意」。

在大模型如今竞争白热化的当下，谷歌DeepMind要求所有科研人员的生成式AI相关论文设定6个月禁发期！

DeepMind的CEO Hassabis曾表示：不接受，就辞职，这里是公司，不是大学校园；想在大学那样的环境工作，那就请你离开。

不仅如此，创新成果不发，Gemini短板也不能提。

或许谷歌一开始也并没有预料到Transformer会影响人类历史如此深远。

人人都爱Transformer

作为一篇严肃的机器学习向论文，《Attention Is All You Need》自发布以来，已经有无数人进行了解读。

不论是否和机器学习行业相关，人们「渴望」搞清楚目前生成式AI的能力究竟来源于哪里。

不论是国内还是海外，试图带你读懂论文的视频都有很高的热度，并且直到今天，「教你学会」、「带你看懂」等内容依然有非常高的播放量。

科技领域的顶级KOL Lex Fridman和AI界的顶级科学家Andrej Karpathy 认为Transformer是AI世界中「最棒的想法」，没有之一。

而「XXX Is All You Need」甚至成为了严肃学界乐此不疲的玩梗素材。

论文题目直接套用了披头士名曲《All You Need Is Love》的说法，也正因其简洁而响亮的表达方式，迅速被AI学界和网络社区广泛引用和调侃——

从「Attention Is All You Need」延伸为「X Is All You Need」的各种变体，形成一整套互联网meme式的幽默结构 。

「标题的成功」还引发了一连串同样玩梗的论文出现，这些论文的标题或内容都借用了这一俏皮话。

有研究人员甚至制作了一张图展示了对所有这些论文的综述，使读者能够总结出这些论断出现的背景及其原因。

Transformer后时代：AI八年狂飙

自Transformer问世以来的八年间，研究者和工程师们围绕这一架构进行了大量探索和改进。

Transformer的发展历程既包括模型本身的架构优化，也包括模型规模的指数级扩展，以及向多模态领域的延伸融合。

Transformer架构天然适合并行计算，这使得研究人员能够不断堆高模型参数规模，验证「大模型是否更聪明」。

事实也证明，参数和数据规模的扩张带来了质的飞跃。

从最初论文中的亿级参数模型，到2018年的BERT（3.4亿参数）和GPT-2（15亿参数），再到2020年的GPT-3（1750亿参数），模型大小呈指数级增长。

OpenAI等机构的研究揭示了清晰的Scaling Law（规模定律）：模型越大，数据越多，性能越佳且涌现出小模型不具备的新能力。

随着规模扩张，Transformer模型展现出令人惊叹的零样本/小样本学习能力，即无需或只需极少示例就能完成新任务。

模型规模的扩展带来了AI能力的质变，使Transformer成为真正的基础模型（Foundation Model）——一经训练即可泛化支持众多下游应用。

不过，每个传奇故事似乎都没有那么Happy Ending的结尾。

曾经联手打造出谷歌最强Transformer的「变形金刚们」如今也已分道扬镳。

8年前一篇不起眼的论文，却彻底开启了人类的生成式AI时代。

这个被忽视的小论文，彻底开启了AI的大时代。

它的故事还远远没有结束。

目前的AI仍然继续在Transformer架构基础上狂飙突进。

Transformer的影响力还能持续多久，也许只有等AGI实现那天来回答了。

但无论未来AI技术如何演变，Transformer已经在历史上留下永久且深刻的印记。