- A+
说到底，
新智元报道
事实上，
编辑：定慧
需要注意的是，
【新智元导读】Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。
站在用户角度来说，
Transformer，八岁了！
开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。
大家常常忽略的是，
Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。
IC平台消息：
更核心的是，它让人类真正跨入了生成式AI时代。
IC外汇财经新闻：
人类和生成式AI的命运从2017年6月12日周一下午17点57分实行交汇。
Transformer的影响依然还在继续！
必须指出的是，
到今天为止，这篇论文的被引次数已经到了184376！
IC外汇资讯：
而在两年前的6周年时候，被引次数是77926。
请记住，
仅仅过去两年时间，被引用次数翻了2倍还多！
IC外汇消息：
网友们也纷纷为Transformer 8岁生日送上祝福。
综上所述，
但和所有传奇故事的开头都非常相似，这篇论文当年甚至没有引起人们的Attention（注意）。
一篇未获人们「Attention」的传奇论文
据业内人士透露，
Transformer发表在2017年的NeurIPS上，这是全球顶级的人工智能会议之一。
IC外汇报导：
然而，它甚至没有获得Oral演讲，更不用说获奖了。
2017年的NeurlPS获奖论文
根据公开数据显示，
从如今的影响力和现实意义来看，谷歌公开这篇资料算得上是「功德无量」。
需要注意的是，
网友也盛赞谷歌的做事方法，允许任何人完全免费运用，甚至不需要许可证授权。
简而言之，
但随着生成式AI的发展，各家巨头的加入，谷歌也实行逐渐收回自己的「善意」。
在大模型如今竞争白热化的当下，谷歌DeepMind要求所有科研人员的生成式AI相关论文设定6个月禁发期！
DeepMind的CEO Hassabis曾表示：不接受，就辞职，这里是公司，不是大学校园；想在大学那样的环境工作，那就请各位离开。
说到底，
不仅如此，创新成果不发，Gemini短板也不能提。
IC外汇快讯：
或许谷歌一实行也并没有预料到Transformer会影响人类历史如此深远。
据业内人士透露，
人人都爱Transformer
简而言之，
作为一篇严肃的机器学习向论文，《Attention Is All You Need》自发布以来，已经有无数人进行了解读。
必须指出的是，
不论是否和机器学习行业相关，人们「渴望」搞清楚目前生成式AI的能力究竟来源于哪里。
说出来你可能不信，
不论是国内还是海外，试图带各位读懂论文的视频都有很高的热度，并且直到今天，「教各位学会」、「带各位看懂」等资料依然有非常高的播放量。
不妨想一想，
科技领域的顶级KOL Lex Fridman和AI界的顶级科学家Andrej Karpathy 认为Transformer是AI世界中「最棒的想法」，没有之一。
请记住，
而「XXX Is All You Need」甚至成为了严肃学界乐此不疲的玩梗素材。
很多人不知道，
论文题目直接套用了披头士名曲《All You Need Is Love》的说法，也正因其简洁而响亮的表达方法，迅速被AI学界和网络社区广泛引用和调侃——
IC外汇报导：
从「Attention Is All You Need」延伸为「X Is All You Need」的各种变体，形成一整套互联网meme式的幽默结构 。
有分析指出，
「标题的成功」还引发了一连串同样玩梗的论文出现，这些论文的标题或资料都借用了这一俏皮话。
换个角度来看，
有研究人员甚至制作了一张图展示了对所有这些论文的综述，使读者能够总结出这些论断出现的背景及其原因。
IC外汇行业评论：
Transformer后时代：AI八年狂飙
IC外汇快讯：
自Transformer问世以来的八年间，研究者和工程师们围绕这一架构进行了大量探索和改进。
事实上，
Tra 富拓外汇官网 nsformer的发展历程既包括模型本身的架构优化，也包括模型规模的指数级扩展，以及向多模态领域的延伸融合。
其实，
Transformer架构天然适合并行计算，这使得研究人员能够不断堆高模型参数规模，验证「大模型是否更聪明」。
很多人不知道，
事实也证明，参数和数据规模的扩张带来了质的飞跃。
不妨想一想，
从最初论文 TMGM外汇官网 中的亿级参数模型，到2018年的BERT（3.4亿参数）和GPT-2（15亿参数），再到2020年的GPT-3（1750亿参数），模型大小呈指数级增长。
从某种意义上讲，
OpenAI等机构的研究揭示了清晰的Scaling Law（规模定律）：模型越大，数据越多，性能越佳且涌现出小模型不具备的新能力。
随着规模扩张，Transformer模型展现出令人惊叹的零样本/小样本学习能力，即无需或只需极少示例就能完成新任务。
IC外汇资讯：
模型规模的扩展带来了AI能力的质变，使Transformer成为真正的基础模型（Foundation Model）——一经训练即可泛化接受众多下游应用。
必须指出的是，
不过，每个传奇故事似乎都没有那么Happy Ending的结尾。
IC平台消息：
曾经联手打造出谷歌最强Transformer的「变形金刚们」如今也已分道扬镳。
来自IC外汇官网：
8年前一篇不起眼的论文，却彻底开启了人类的生成式AI时代。
IC平台消息：
这个被忽视的小论文，彻底开启了AI的大时代。
与其相反的是，
它的故事还远远没有结束。
IC外汇用户评价：
目前的AI仍然继续在Transformer架构基础上狂飙突进。
与其相反的是，
Transformer的影响力还能持续多久，也许只有等AGI实现那天来回答了。
IC外汇专家观点：
但无论未来AI技术如何演变，Transformer已经在历史上留下永久且深刻的印记。
参考资料：
综上所述，
Transformer全新里程碑！诞生6年，开山之作被引近8万，没夺下NeurIPS最佳论文，却彻底改变AI界
但实际上，
Transformer八子全部叛逃谷歌！最后一位共同作者月底离职创业。
