谷歌是怎么输掉 LLM 竞赛的

谷歌发明了 LLM 时代几乎所有关键的东西，然后输掉了 LLM 战争。

把时间和论文摆开看，就是这样。

四项奠基，三项没接住

预训练（2015）

2015 年，谷歌的 Andrew Dai 和 Quoc Le 发表 Semi-Supervised Sequence Learning。思路今天人人熟悉：先用海量无标注数据预训练，再用少量标注数据微调。但在当时，没人这么干。

两年后 Transformer 论文出来。Andrew 第二天就找 Vaswani，说把预训练搬上 Transformer 试试。Vaswani 在忙，没理他。

理这个思路的是 OpenAI 的 Alec Radford。他把预训练和 Transformer 拼到一起，做出了 GPT。GPT 论文的引用里，白纸黑字写着谷歌那篇 2015 年的工作。

直到 2020 年 GPT-3 砸下来，谷歌内部才恍然大悟：原来这条路线是越大越好。但在那之前，没人愿意押上亿美元去赌一个不确定的方向。

Transformer（2017）

这篇论文的标题不用重复。它是此后一切的基础。

谷歌发表了它，但没有把全部身家押在这条路线上。OpenAI 押了。

混合专家（2021）

GPT-3 把谷歌吓醒了。Andrew 团队搞出 GLaM，用 MoE 架构：模型很大，但每次只激活一部分专家，算力不会跟着模型一起爆炸。GLaM 比 GPT-3 强。

然后呢？2023 年底 Gemini 1.0 赶鸭子上架，没用 MoE——因为要赶圣诞节发布，MoE 还没调完。Gemini 1.0 开口就露馅。1.5 才补上。而 OpenAI 的 GPT-4，那年已经是 MoE 了——至少行业里都这么猜。

强化学习用于语言模型（2018）

Andrew 跟 Ian Goodfellow 做了 MaskGAN：光靠训练不够，得让模型通过强化学习自己修正自己。

这条路后来被 OpenAI 走成了 RLHF。ChatGPT 能看懂人脸色，靠的就是它。

每项技术，谷歌都领先两年到五年。每项技术，谷歌都没能在第一波收割。重复这个模式四次，就不是运气问题了。

不是技术问题

把账翻烂了，也看不出谷歌技术差在哪里。毛病出在组织上。

第一个问题：没人敢 all in。

GPT-3 之前，谷歌两拨人各干各的。DeepMind 在打游戏、下围棋——Hassabis 相信游戏玩到顶，智能自然来。Brain 这边更散：Jeff Dean 当家，下面人各自为政，有人搞音乐，有人搞视频，做语言的反而人少势孤。

这种自由很好，代价是火力分散。OpenAI 人少、钱集中、一条路走到黑。两家对打，还没开打就分了输赢。

第二个问题：合并加剧了内耗。

2022 年底 ChatGPT 一声炮响，谷歌慌了。对策是把 Brain 和 DeepMind 强行合并。

合并不坏，坏的是方式。当时 Brain 管数据的人说：

“每一个行当，都得配两个掌柜——一个 DeepMind 的，一个 Brain 的。数据行当这样，多模态行当这样，连管家伙的也这样。配完还得再分：这行当里哪半伦敦做，哪半山景城做。这就把工夫全耗没了。”

两个 leader，两套系统，两拨互相看不顺眼的人。公平的安排，往往是最慢的安排。

OpenAI 那边几十号人，一条心。

第三个问题：好东西压着不发。

PaLM 2 训练出奇地顺，不到一年就做完了。但谷歌不让发，要等 Google I/O。

OpenAI 当然知道 I/O 是哪天。他们提前两个月发布 GPT-4，成色压过 PaLM 2。等谷歌在 I/O 上捧出 PaLM 2，“最强”的牌子早就被人摘走了。

在这个行业，两个月等于让出去一整个身位。

第四个问题：留不住人。

“硅谷藏不住秘密”不是客气话。

Andrew 的徒弟把 MoE 的手艺带到了 OpenAI。这样的事天天发生：谷歌培养出最懂行的人，这些人被 OpenAI、Anthropic 一拨拨挖走。大公司给不出小公司的翻身盼头。

最讽刺的是，谷歌后来还得花大钱把旧人赎回来——Gemini 2.5 能缓过劲，一部分靠的是把 Noam Shazeer 从 Character.ai 请回来。

谷歌不缺技术、不缺钱、不缺算力。可这行真正的本钱是”懂怎么干的人”——而人是最留不住的。

怎么翻的身

Gemini 2.0、2.5、3.0 一路拉回来，靠的已经不是模型架构。架构人人会抄。拉开差距的是数据。

不是数据从哪来——大家爬的都是同一片网。是”怎么挑、怎么洗”。网上大半是垃圾，拿垃圾训练，长出来的就是垃圾。Gemini 2.0 换了数据筛选的新方法，筛得更严。

合成数据也很关键。炼得好，是 GPT-5 的燃料；炼得坏，模型会把数据里的毛病一字不差地学走。

但大公司有个天然枷锁：

“我感觉到了，大伙儿用的法子，太求稳。几千号人、几千口灶在这桩活上，他们就不敢用太野、太新的招。”

几千人、几千块卡的预训练，不敢上野路子——一炉废了，就是几百万美元。所以谷歌只能守着验过的老法子。可更野的数据方法，能跑得快得多。

这大概也是 Andrew Dai 最后选择离开、去做 Elorian 的原因。

两条线

把这事挤干，剩两句。

第一句：当技术和算力趋于同质化，大模型这行的胜负手，是谁敢把命押在一条路线上。 这句话解释了 OpenAI 凭什么赢、谷歌凭什么输，也解释了如今钱像下雨一样砸向小公司——大伙儿赌的，正是”大公司不敢押的那条路线”。

第二句：下一个决胜点不在模型架构，在数据流水线。 谁把数据挑得最狠、把合成数据使得最巧，谁就赢。而这件事，越野越灵——大公司，恰恰最不敢野。

所以才会冒出 Elorian、DeepSeek 这种又小又密实的公司。不是他们更聪明，是船小，才敢掉头。

谷歌的病，从来不是做不出好东西。是把好东西做出来之后，既没人拍板把它们凑成一个能打的产品，也来不及在对手开打之前，递到门口。

技术一直在谷歌手里攥着。可先跑出来的，永远是那个最敢押注的人。