【转载】超越标准大语言模型

Posted on by — No Comments ↓

原文地址：Beyond Standard LLMs，by Sebastian Raschka, on 2025-11-04

超越标准大语言模型

线性注意力混合架构、文本扩散模型、代码世界模型与小型递归Transformer

从DeepSeek R1到MiniMax-M2，如今规模最大、能力最强的开源权重大语言模型（LLM）依然是自回归解码器式Transformer，它们均基于原始多头注意力机制的各类变体构建而成。

然而近年来，我们也见证了标准LLM之外的各类替代方案不断涌现，从文本扩散模型到最新的线性注意力混合架构不一而足。其中部分方案旨在提升效率，而另一些（比如代码世界模型）则致力于优化建模性能。

几个月前我分享了《大语言模型架构大对比》一文，聚焦于主流的基于Transformer的大语言模型，之后收到了很多关于我对这些替代方案看法的提问。（我最近也在2025年PyTorch大会上做了相关主题的简短分享，当时也向参会者承诺会后续撰写一篇关于这些替代方案的文章。）于是便有了这篇内容！

figure01

图1： 大语言模型领域概览。本文介绍黑色边框标注的这些架构。解码器式Transformer已在我的《大架构对比》一文中展开介绍。其余未加框的架构将在未来的文章中探讨。

需要说明的是，上图中展示的每个主题理想情况下都至少需要一整篇文章来详细阐述（希望未来能逐一覆盖）。因此为了控制本文篇幅，很多章节的内容会相对精简。但我依然希望本文能作为一份入门导引，带大家了解近年来涌现的这些值得关注的LLM替代方案。

附言：前文提到的PyTorch大会演讲将上传至PyTorch官方YouTube频道。在此之前，如果你感兴趣，可以先看下面的练习录制版本。

（也可以直接看YouTube版本：https://youtu.be/lONyteDR4XE 。）

1. 基于Transformer的大语言模型

基于经典https://arxiv.org/abs/1706.03762架构的Transformer大语言模型，目前在文本和代码领域依然代表着最顶尖的水平。仅回顾2024年末至今的亮点，代表性模型就包括：

  • DeepSeek V3/R1

  • OLMo 2

  • Gemma 3

  • Mistral Small 3.1

  • Llama 4

  • Qwen3

  • SmolLM3

  • Kimi K2

  • gpt-oss

  • GLM-4.5

  • GLM-4.6

  • MiniMax-M2
    以及更多其他模型。

（以上列表聚焦于开源权重模型；GPT-5、Grok 4、Gemini 2.5等闭源模型也属于这一类别。）

figure02

图2： 过去一年发布的最具代表性的解码器式Transformer概览。

鉴于我已经多次谈论和撰写基于Transformer的大语言模型，我默认大家已经熟悉其基本思路和架构。如果你想了解更深入的内容，可以在我的这篇文章中对比上述（及下图展示的）所有架构：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

（旁注：我本可以将Qwen3-Next和Kimi Linear与概览图中的其他Transformer-状态空间模型（SSM）混合架构归为一类。在我看来，其他Transformer-SSM混合架构属于“带有Transformer组件的SSM”，而本文讨论的这些模型（Qwen3-Next和Kimi Linear）属于“带有SSM组件的Transformer”。不过，既然我已经把IBM Granite 4.0和NVIDIA Nemotron Nano 2放在了Transformer-SSM的框中，把它们归为同一大类也说得通。）

figure03

图3： 我的《大语言模型架构大对比》（https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison）一文中讨论的部分架构。

如果你正在从事大语言模型相关工作——比如搭建应用、微调模型或者尝试新算法——我会把这些模型作为首选。它们经过了充分验证，表现成熟且优异。

此外，正如《大架构对比》一文中讨论的，目前已经有很多效率优化手段，包括分组查询注意力、滑动窗口注意力、多头潜在注意力等等。

但如果研究人员和工程师不去探索替代方案，那未免太过无趣，也太过短视。因此，接下来的章节将介绍近年来涌现的一些有意思的替代方向。

2. （线性）注意力混合架构

在讨论“差异更大”的方案之前，我们先来看采用了更高效注意力机制的基于Transformer的大语言模型。具体来说，重点关注那些计算量随输入token数量线性增长、而非二次增长的方案。

最近，线性注意力机制迎来了一波复兴，用以提升大语言模型的效率。

https://arxiv.org/abs/1706.03762（2017年）中提出的注意力机制，即缩放点积注意力，至今仍是大语言模型中最主流的注意力变体。除了传统的多头注意力之外，它也被应用于更高效的变体中，比如分组查询注意力、滑动窗口注意力以及多头潜在注意力，详见：https://youtu.be/lONyteDR4XE 。

2.1 传统注意力与二次代价

原始注意力机制的计算量随序列长度呈二次增长：

这是因为查询（Q）、键（K）、值（V）都是n×d的矩阵，其中d是嵌入维度（一个超参数），n是序列长度（即token的数量）。

（更多细节可以参考我的文章：https://magazine.sebastianraschka.com/p/understanding-and-coding-self-attention ）

figure04

图4： 多头注意力中传统缩放点积注意力机制示意图；注意力的二次代价由序列长度n导致。

2.2 线性注意力

线性注意力变体其实早已存在，我记得2020年代就有大量相关论文。比如我印象中最早的一篇是2020年的https://arxiv.org/abs/2006.16236，研究人员在文中对注意力机制做了近似：

此处，ϕ(⋅)是核特征函数，取ϕ(x) = elu(x)+1。

这种近似之所以高效，是因为它避免了显式计算n×n的注意力矩阵QKᵀ。

我不想在这些早期尝试上花费太多篇幅。但核心结论是：它们将时间和内存复杂度从O(n²)降到了O(n)，让长序列下的注意力效率大幅提升。

然而，这些方案从未真正普及，因为它们会降低模型精度，而且我从未见过哪一种变体被应用到开源的顶尖大语言模型中。

2.3 线性注意力的复兴

今年下半年，线性注意力变体迎来了复兴，部分模型开发者之间也出现了一些反复，如下图所示。

figure05

图5： 线性注意力混合架构概览。

第一个代表性模型是搭载闪电注意力的https://arxiv.org/abs/2506.13585。

MiniMax-M1是一个参数量4560亿的混合专家（MoE）模型，激活参数量460亿，于今年6月发布。

随后在8月，通义千问团队推出了Qwen3-Next，我在前文已经略有提及。到了9月，DeepSeek团队发布了https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp 。（DeepSeek V3.2的稀疏注意力机制严格来说不算线性，但计算代价至少是亚二次级的，因此我认为把它和MiniMax-M1、Qwen3-Next、Kimi Linear归为同一类是合理的。）

这三个模型（MiniMax-M1、Qwen3-Next、DeepSeek V3.2）都在其大部分或全部层中，用高效的线性变体替换了传统的二次注意力。

有意思的是，最近出现了一个反转：MiniMax团队发布的全新230亿参数M2模型没有采用线性注意力，而是回归了常规注意力。团队在https://huggingface.co/blog/MiniMax-AI/why-did-m2-end-up-as-a-full-attention-model?utm_source=chatgpt.com中提到，线性注意力在生产级大语言模型中存在棘手问题。它在常规提示下表现尚可，但在推理和多轮任务中精度较差——而这些能力不仅对常规聊天场景很重要，对智能体应用同样关键。

这原本可能成为一个转折点，让线性注意力变得不再值得探索。但事情变得更有意思了：10月，Kimi团队发布了搭载线性注意力的全新https://arxiv.org/abs/2510.26692模型。

在线性注意力方面，Qwen3-Next和Kimi Linear都采用了门控DeltaNet（Gated DeltaNet），接下来几节我会将其作为混合注意力架构的一个例子展开讨论。

2.4 Qwen3-Next

我们先从Qwen3-Next说起，它用https://arxiv.org/abs/2412.06464 + https://arxiv.org/abs/2505.06708 的混合架构替换了常规注意力机制，从而在内存层面支撑了原生262k token的上下文长度（此前的235B-A22B模型原生支持32k，通过https://arxiv.org/abs/2309.00071缩放可支持131k）。

它的混合机制将门控DeltaNet模块与门控注意力模块按3:1的比例混合，如下图所示。

figure06

图6： 搭载门控注意力与门控DeltaNet的Qwen3-Next。

如上图所示，注意力机制要么实现为门控注意力，要么实现为门控DeltaNet。也就是说，该架构中的48个Transformer块（层）在二者之间交替。具体来说，如前所述，它们按3:1的比例交替。例如，Transformer块的排布如下：

──────────────────────────────────
第1层：线性注意力 → MoE
第2层：线性注意力 → MoE
第3层：线性注意力 → MoE
第4层：全注意力 → MoE
──────────────────────────────────
第5层：线性注意力 → MoE
第6层：线性注意力 → MoE
第7层：线性注意力 → MoE
第8层：全注意力 → MoE
──────────────────────────────────
……

除此之外，该架构整体相当标准，和Qwen3类似：

figure07

图7： 此前“常规版”Qwen3模型（左）与Qwen3-Next（右）对比。

那么，门控注意力和门控DeltaNet到底是什么？

2.5 门控注意力

在介绍门控DeltaNet本身之前，我们先简单聊聊门控。正如上一张图中Qwen3-Next架构的上半部分所示，Qwen3-Next采用了“门控注意力”。它本质上就是常规的全注意力，额外增加了一个Sigmoid门。

这种门控是一种简单的修改，我在一个多头注意力实现中（基于我的https://amzn.to/4fqvn0D第3章的代码）加入了该机制，用于演示：

可以看到，在按常规方式计算出注意力之后，模型从同一输入中生成一个单独的门控信号，经过Sigmoid函数将其约束在0到1之间，再与注意力输出相乘。这使得模型可以动态地放大或缩小特定特征。Qwen3-Next的开发者在https://qwen.ai/blog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list中提到，这有助于提升训练稳定性：

……注意力输出门控机制有助于消除注意力沉没（Attention Sink）和大幅激活（Massive Activation）等问题，保障模型全流程的数值稳定性。

简而言之，门控注意力对标准注意力的输出进行调制。下一节我们将讨论门控DeltaNet，它用一种递归的delta规则记忆更新机制替换了注意力机制本身。

2.6 门控DeltaNet

那么，什么是门控DeltaNet？门控DeltaNet（Gated Delta Network的缩写）是Qwen3-Next中的线性注意力层，旨在替代标准的Softmax注意力。它改编自前文提到的https://arxiv.org/abs/2412.06464论文。

门控DeltaNet最初是作为Mamba2的改进版本提出的，它将Mamba2的门控衰减机制与delta规则相结合。

Mamba是一种状态空间模型（Transformer的替代方案），是一个很大的主题，未来值得单独撰文介绍。

delta规则部分指的是：计算新值与预测值之间的差值（delta，Δ），用以更新作为记忆状态的隐藏状态（后文会详细展开）。

（旁注：熟悉经典机器学习文献的读者可以把它理解为类似生物学启发的赫布学习：“同步放电的神经元，连接也会同步增强。”它本质上是感知机更新规则和基于梯度下降学习的前身，但不需要监督。）

门控DeltaNet有一个和前文讨论的门控注意力类似的门，只不过它使用的是SiLU激活函数而非Logistic Sigmoid，如下图所示。（选择SiLU可能是为了相比标准Sigmoid提升梯度流动性和稳定性。）

figure08

图8： 门控注意力与门控DeltaNet对比。

然而，如上图所示，除了输出门之外，门控DeltaNet中的“门控”还指代几个额外的门：

  • α（衰减门）控制记忆随时间衰减或重置的速度

  • β（更新门）控制新输入对状态的修改强度

在代码中，上述门控DeltaNet的简化版本（不含卷积混合）可以实现为如下形式（代码灵感来自Qwen3团队的实现：https://github.com/huggingface/transformers/blob/0ed6d51ae8ed3f4fafca67a983b8d75bc76cd51b/src/transformers/models/qwen3_next/modular_qwen3_next.py#L835）：

（注意：为了简洁起见，我省略了Qwen3-Next和Kimi Linear使用的卷积混合部分，让代码更易读，同时聚焦于递归特性。）

由此可见，它和标准（或门控）注意力有很多不同。

在门控注意力中，模型计算所有token之间的常规注意力（每个token都关注或查看其他所有token）。得到注意力输出后，由一个门（Sigmoid）决定保留多少输出。核心要点是：它依然是常规的缩放点积注意力，计算量随上下文长度呈二次增长。

回顾一下，缩放点积注意力的计算公式为softmax(QKᵀ)V，其中Q和K是n×d矩阵，n是输入token数量，d是嵌入维度。因此QKᵀ会得到一个n×n的注意力矩阵，再与n×d维度的值矩阵V相乘。

figure09

图9： 传统注意力机制（再次展示），其计算量随token数量n增长。

而在门控DeltaNet中，不存在n×n的注意力矩阵。相反，模型逐个处理token，维护一个持续更新的运行记忆（状态），每输入一个新token就更新一次。其实现方式为，其中S是每个时间步t都会递归更新的状态。

门控控制着记忆的变化方式：

  • α（alpha）调节需要遗忘（衰减）多少旧记忆

  • β（beta）调节当前时间步t的token对记忆的更新程度

（还有最终的输出门，上面的代码片段中没有展示，作用和门控注意力类似，控制保留多少输出。）

因此从某种意义上说，门控DeltaNet中的状态更新和循环神经网络（RNN）的工作方式类似。它的优势在于：计算量随上下文长度呈线性增长（通过for循环实现），而非二次增长。

这种递归状态更新的缺点在于，和常规（或门控）注意力相比，它牺牲了全成对注意力带来的全局上下文建模能力。

门控DeltaNet在一定程度上依然能捕捉上下文，但必须通过记忆（S）这个瓶颈。该记忆是固定大小的，因此效率更高，但它会把过去的上下文压缩成单个隐藏状态，和RNN类似。

这就是为什么Qwen3-Next和Kimi Linear架构没有把所有注意力层都替换成DeltaNet层，而是采用了前文提到的3:1比例。

2.7 DeltaNet的内存节省

上一节我们讨论了DeltaNet相比全注意力的优势：上下文长度维度下的计算复杂度是线性而非二次的。

除了线性计算复杂度之外，DeltaNet的另一大优势是内存节省——因为DeltaNet模块不会增大KV缓存。（关于KV缓存的更多信息，参见我的文章：https://magazine.sebastianraschka.com/p/coding-the-kv-cache-in-llms ）相反，如前所述，它们维护一个固定大小的递归状态，因此内存不会随上下文长度变化。

对于常规的多头注意力（MHA）层，我们可以这样计算KV缓存大小：

KV_cache_MHA ≈ batch_size × n_tokens × n_heads × d_head × 2 × bytes

（乘以2是因为缓存中同时存储键和值。）

对于上面实现的简化版DeltaNet，我们有：

KV_cache_DeltaNet = batch_size × n_heads × d_head × d_head × bytes

注意，KV_cache_DeltaNet的内存大小不依赖上下文长度（n_tokens）。此外，我们只存储记忆状态S，而非分开的键和值，因此“2 × bytes”变成了“bytes”。不过要注意，这里出现了d_head × d_head的二次项，这来源于状态：

S = x.new_zeros(b, self.num_heads, self.head_dim, self.head_dim)

但这通常无需担心，因为头维度通常相对较小。比如在Qwen3-Next中是128。

带卷积混合的完整版本会稍微复杂一些，还涉及卷积核大小等因素，但上面的公式已经足以说明门控DeltaNet的核心趋势和设计动机。

figure10

图10： KV缓存大小增长对比。3:1比例指门控DeltaNet层与全注意力层的比例。计算假设emb_dim=2048，n_heads=16，n_layers=48，bf16。你可以在这里找到复现代码：https://github.com/rasbt/LLMs-from-scratch/tree/main/ch04/08_deltanet。

2.8 Kimi Linear与Qwen3-Next对比

Kimi Linear与Qwen3-Next有若干结构相似性。两个模型都依赖混合注意力策略，具体来说，都是将轻量级线性注意力与更重的全注意力层相结合。二者都采用3:1的比例——即每3个采用线性门控DeltaNet变体的Transformer块，就搭配1个使用全注意力的块，如下图所示。

figure11

图11： Qwen3-Next与Kimi Linear并排对比。

门控DeltaNet是受循环神经网络启发的线性注意力变体，包含源自https://arxiv.org/abs/2412.06464论文的门控机制。从某种意义上说，门控DeltaNet就是带有Mamba风格门控的DeltaNet，而DeltaNet本身是一种线性注意力机制（下一节会详细说明）。

如上图11右上角方框所示，Kimi Linear中的MLA没有使用Sigmoid门。这一省略是有意为之，以便作者能更直接地与标准MLA对比，但他们在https://x.com/yzhang_cs/status/1984631714464088563中表示，未来计划加入该门控。

另外要注意，上图中Kimi Linear部分省略了RoPE框也是有意的。Kimi在多头潜在注意力（MLA）层（全局注意力）中采用了NoPE（无位置嵌入）。正如作者所述，这使得MLA在推理时可以作为纯多查询注意力运行，并且避免了长上下文缩放下的RoPE重调（位置偏差据称由Kimi Delta注意力块处理）。关于MLA和多查询注意力（分组查询注意力的一种特例）的更多信息，请参见我的《大语言模型架构大对比》一文：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

2.9 Kimi Delta注意力

Kimi Linear通过Kimi Delta注意力（KDA）机制对Qwen3-Next的线性注意力机制做了改进，它本质上是门控DeltaNet的优化版本。Qwen3-Next使用标量门控（每个注意力头一个值）来控制记忆衰减速率，而Kimi Linear将其替换为针对每个特征维度的通道级门控。据作者称，这让记忆的可控性更强，进而提升了长上下文推理能力。

此外，在全注意力层，Kimi Linear用多头潜在注意力（MLA）替换了Qwen3-Next的门控注意力层（本质上是带输出门控的标准多头注意力层）。这和DeepSeek V3/R1使用的MLA机制是同一种（我在《大语言模型架构大对比》一文中讨论过），但额外增加了一个门。（回顾一下：MLA通过压缩键/值空间来减小KV缓存大小。）

目前没有直接和Qwen3-Next的对比，但和门控DeltaNet论文中的Gated DeltaNet-H1模型（本质上是带滑动窗口注意力的门控DeltaNet）相比，Kimi Linear在保持相同token生成速度的同时，实现了更高的建模精度。

figure12

图12： 摘自Kimi Linear论文（https://arxiv.org/abs/2510.26692）的标注图，显示Kimi Linear速度与门控DeltaNet相当，远快于多头潜在注意力架构（如DeepSeek V3/R1），同时基准测试表现更优。

此外，根据https://arxiv.org/abs/2405.04434中的消融研究，当超参数选择得当时，MLA的表现与常规全注意力相当。

而Kimi Linear在长上下文和推理基准上的表现优于MLA，这让线性注意力变体再次有望应用于更大规模的顶尖模型中。话虽如此，Kimi Linear有480亿参数，但比Kimi K2小20倍。看看Kimi团队是否会在即将推出的K3模型中采用这一方案，将会很有意思。

2.10 注意力混合架构的未来

线性注意力并非新概念，但近期混合方案的复兴表明，研究人员又开始认真探索让Transformer更高效的实用方法。比如Kimi Linear相比常规全注意力，KV缓存减少了75%，解码吞吐量最高提升6倍。

新一代线性注意力变体与早期尝试的不同之处在于：它们是与标准注意力搭配使用，而非完全取而代之。

展望未来，我预计下一波注意力混合架构将聚焦于进一步提升长上下文稳定性和推理精度，从而向全注意力的顶尖水平靠拢。

3. 文本扩散模型

与标准自回归大语言模型架构相比，更具颠覆性的一类方案是文本扩散模型家族。

你可能对扩散模型并不陌生，它基于2020年的https://arxiv.org/abs/2006.11239论文，用于图像生成（作为生成对抗网络的继任者），后来经Stable Diffusion等项目实现、规模化并普及开来。

figure13

图13： 图像扩散过程示意图，引自2022年的文章《AI前沿1：创新的扩散》（https://magazine.sebastianraschka.com/p/ahead-of-ai-1-a-diffusion-of-innovations）。图中从左到右逐步加入高斯噪声，模型的任务是学习如何去除噪声（从右到左）。

3.1 为什么要研究文本扩散？

随着2022年https://arxiv.org/abs/2205.14217论文的发表，我们开始看到研究者将扩散模型应用于文本生成的趋势萌芽。2025年我已经看到了大量文本扩散相关论文。刚翻了一下我的论文书签列表，里面居然有39个文本扩散模型！鉴于这类模型的热度日益高涨，我觉得是时候专门聊聊它们了。

figure14

图14： 本节介绍文本扩散模型。

那么，扩散模型的优势是什么？为什么研究者要将其作为传统自回归大语言模型的替代方案来研究？

传统的基于Transformer的（自回归）大语言模型一次生成一个token。为简洁起见，我们下文简称其为自回归LLM。而基于文本扩散的大语言模型（我们称之为“扩散LLM”）的核心卖点是：它们可以并行生成多个token，而非顺序生成。

注意，扩散LLM依然需要多个去噪步骤。但即便一个扩散模型需要比如64步去噪，每一步并行生成所有token，其计算效率依然高于执行2000步顺序生成来产出2000个token的回复。

3.2 去噪过程

扩散LLM中的去噪过程，与常规图像扩散模型中的去噪过程类似，如下图动图所示。（核心区别在于：文本扩散不是向像素添加高斯噪声，而是通过按概率掩码token来破坏序列。）

在这个实验中，我运行了今年早些时候发布的https://arxiv.org/abs/2502.09992（LLaDA）论文中的8B指令微调模型。

figure15

图15： 使用8B LLaDA模型的去噪过程示意图。

如上面的动画所示，文本扩散过程会逐步将[MASK] token替换为文本token，从而生成答案。如果你熟悉https://arxiv.org/abs/1810.04805和掩码语言建模，你可以把这个扩散过程理解为BERT前向传播的迭代应用（BERT在不同掩码率下使用）。

从架构上看，扩散LLM通常是解码器式Transformer，但没有因果注意力掩码。比如前面提到的LLaDA模型就使用了Llama 3架构。我们把这种没有因果掩码的架构称为“双向”架构，因为它们可以同时访问所有序列元素。（注意这和BERT架构类似，由于历史原因，BERT被称为“编码器式”。）

因此，自回归LLM和扩散LLM的主要区别（除了去掉因果掩码之外）在于训练目标。扩散LLM（如LLaDA）使用生成式扩散目标，而非下一个token预测目标。

在图像模型中，生成式扩散目标很直观，因为我们有连续的像素空间。比如，添加高斯噪声和学习去噪在数学上是很自然的操作。然而文本由离散的token组成，我们无法像连续空间那样直接添加或去除“噪声”。

因此，这些扩散LLM不是扰动像素强度，而是通过逐步随机掩码token来破坏文本——每个token都以指定概率被替换为特殊的掩码token。模型随后学习一个逆过程，在每一步预测缺失的token，从而有效地将序列“去噪”（或解掩码）还原为原始文本，如图15的动画所示。

解释其背后的数学原理更适合单独写一篇教程，但大致来说，我们可以把它看作是扩展到概率最大似然框架下的BERT。

3.3 自回归LLM vs 扩散LLM

前文提到，扩散LLM的吸引力在于它们并行生成（或去噪）token，而非像常规自回归LLM那样顺序生成。这让扩散模型有望比自回归LLM更高效。

但话虽如此，传统LLM的自回归特性也是其核心优势之一。而纯并行解码的问题，可以用最近《ParallelBench：理解扩散大语言模型中并行解码的权衡》（https://arxiv.org/abs/2510.04767）论文中的一个绝佳例子来说明。

figure16

图16： 摘自《ParallelBench：理解扩散大语言模型中并行解码的权衡》（https://arxiv.org/abs/2510.04767）的标注图，展示了并行解码存在的问题。

比如，考虑以下提示：

“选一个随机旅游城市：纽约、新奥尔良、墨西哥城、还是巴拿马
城市？”

假设我们让LLM生成两个token的答案。它可能首先根据条件概率p(y_t = ”New” | X)采样出token“New”。

到下一次迭代时，它会基于之前生成的token，大概率选择“York”或“Orleans”，因为条件概率
p(y_{t+1} = ”York” | X, y_t = ”New”) 和 p(y_{t+1} = ”Orleans” | X, y_t = ”New”)
都相对较高（因为训练集中“New”经常和这些后缀共同出现）。但如果两个token是并行采样的，模型可能会独立选出两个最高概率的token p(y_t = “New” | X) 和 p(y_{t+1} = “City” | X)，导致出现“New City”这种奇怪的输出。（这是因为模型缺少自回归条件约束，无法捕捉token之间的依赖关系。）

无论如何，上面的描述是简化的，听起来好像扩散LLM完全没有条件依赖。事实并非如此。如前所述，扩散LLM并行预测所有token，但这些预测通过迭代细化（去噪）步骤相互关联。

每一步扩散都会基于当前全部带噪文本进行条件计算，token之间通过每一步中的交叉注意力和自注意力相互影响。因此，尽管所有位置同时更新，但更新过程通过共享的注意力层互为条件。

但如前所述，理论上，生成2000个token的答案时，20-60步扩散可能比自回归LLM的2000步推理更划算。

3.4 文本扩散的现状

一个有趣的趋势是：视觉模型在吸收大语言模型的组件，比如注意力和Transformer架构本身；而基于文本的大语言模型也在从纯视觉模型中汲取灵感，将扩散应用于文本。

就我个人而言，除了试过几个演示之外，我还没有大量使用扩散模型，但我认为这是一种权衡。如果用较少的扩散步数，生成答案更快，但答案质量可能下降；如果增加扩散步数来生成更好的答案，最终模型的成本可能和自回归模型差不多。

引用https://arxiv.org/abs/2510.04767论文作者的话：

……我们系统分析了扩散LLM和自回归LLM，发现：（1）并行解码下的扩散LLM在真实场景中可能出现严重的质量下降；（2）当前的并行解码策略难以根据任务难度调整并行度，因此无法在不牺牲质量的前提下实现有意义的速度提升。

此外，我发现另一个特别的缺点是：扩散LLM无法在其生成链条中使用工具，因为根本不存在链条。或许可以在扩散步骤之间插入工具调用，但我猜这绝非易事。（如果我错了请指正。）

简而言之，扩散LLM似乎是一个值得探索的有趣方向，但就目前而言，它们可能还无法取代自回归LLM。不过我认为，它们可以作为小型端侧LLM的有趣替代，或者替代小型、蒸馏后的自回归LLM。

比如，谷歌宣布正在研发用于文本的https://deepmind.google/models/gemini-diffusion/模型，他们称其：

  • 快速响应：生成内容的速度甚至远超我们目前最快的模型。

而且在速度更快的同时，其基准表现似乎和他们的快速版Gemini 2.0 Flash-Lite模型不相上下。等该模型正式发布，用户在不同任务和领域中试用之后，看看它的接受度和反馈如何，将会很有意思。

figure17

图17： （更快的）扩散LLM（Gemini Diffusion）与快速自回归LLM（Gemini 2.0 Flash-Lite）的基准表现对比。数据基于https://deepmind.google/models/gemini-diffusion/#capabilities公布的数值。

4. 世界模型

到目前为止，我们讨论的方案都聚焦于提升效率，让模型更快、更易扩展，而这些方案通常都会略微牺牲建模性能。

本节的主题则从另一个角度切入，聚焦于提升建模性能（而非效率）。这种性能提升是通过教会模型“理解世界”来实现的。

世界模型传统上是独立于语言建模发展的，但2025年9月最新发布的https://www.arxiv.org/abs/2510.02387论文，首次让世界模型与语言建模直接产生了关联。

理想情况下，和本文的其他主题一样，世界模型本身就值得一整篇文章（甚至一整本书）来介绍。不过在讨论《代码世界模型》（CWM）论文之前，先让我简单介绍一下世界模型。

4.1 世界模型的核心理念

最初，世界模型的理念是隐式地对结果建模，也就是在结果实际发生之前就预判可能发生的情况（如下图所示）。这类似于人类大脑会根据过往经验持续预测即将发生的事件。比如，当我们伸手去拿一杯咖啡或茶时，大脑已经预判出它大概有多重，我们甚至在碰到杯子之前就会调整握力。

figure18

图18： 世界模型系统的概念概览。智能体通过观察环境当前状态(t)并采取行动(t)来与环境交互，以达成既定目标。与此同时，智能体学习一个内部世界模型，作为环境的心智模拟，让它可以在真实世界执行行动之前就预测结果、规划动作。

据我所知，“世界模型”这个术语是由Ha和Schmidhuber在2018年的同名论文https://arxiv.org/abs/1803.10122中普及的，该论文使用VAE+RNN架构为强化学习智能体学习一个内部环境模拟器。（但这个术语或概念本身本质上就是对世界或环境的建模，其源头可以追溯到20世纪80年代的强化学习和机器人学研究。）

说实话，直到Yann LeCun 2022年的文章https://openreview.net/pdf?id=BZ5a1r-kVsf发表之前，我都没有关注到世界模型的这种新解读。那篇文章本质上是在描绘一条不同于大语言模型的AI替代路径。

4.2 从视觉到代码

话虽如此，此前的世界模型论文都聚焦于视觉领域，涵盖的架构也非常广泛：从早期基于VAE和RNN的模型，到Transformer、扩散模型，甚至Mamba层混合架构。

而作为目前更专注于大语言模型的研究者，https://www.arxiv.org/abs/2510.02387（2025年9月30日）这篇论文第一次完全抓住了我的注意力（双关语）。据我所知，这是第一个从文本到文本（或者更准确地说，从代码到代码）映射的世界模型。

CWM是一个320亿参数的开源权重模型，上下文窗口为131k token。从架构上看，它依然是一个带滑动窗口注意力的稠密解码器-only Transformer。和其他大语言模型一样，它也经历了预训练、中期训练、监督微调（SFT）和强化学习阶段，但中期训练数据引入了世界建模组件。

4.3 代码世界模型 vs 常规代码大语言模型

那么，它和常规代码大语言模型（比如https://huggingface.co/Qwen/Qwen3-Coder-480B-A35B-Instruct ）有什么不同？

Qwen3-Coder这类常规模型纯粹通过下一个token预测进行训练。它们学习语法和逻辑模式来生成合理的代码补全，这让它们对编程拥有静态的文本层面的理解。

相比之下，CWM学习模拟代码运行时会发生什么。它被训练来预测执行代码修改等操作后的程序状态，比如变量的值，如下图所示。

figure19

图19： 代码世界模型（CWM）中的代码执行追踪示例。模型预测每一行代码执行时变量状态的逐步演变。图中模型本质上在模拟代码的行为。图标注摘自https://www.arxiv.org/abs/2510.02387。

在推理时，CWM依然是自回归Transformer，一次生成一个token，就像GPT风格的模型一样。核心区别在于：这些token可以编码结构化的执行轨迹，而非纯文本。

所以，我或许不会称它为世界模型，而是“世界模型增强的大语言模型”。

作为首次尝试，它的表现好得惊人，在参数量大致相当的情况下，表现与gpt-oss-20b（中等推理强度）相当。

如果使用测试时缩放技术，它的表现甚至略优于gpt-oss-120b（高推理强度），但模型尺寸只有后者的1/4。

注意，他们的测试时缩放使用了带生成单元测试的best@k流程（可以理解为一种更复杂的多数投票机制）。如果能对比CWM和gpt-oss的每秒token数或解题时间会很有意思，因为它们使用了不同的测试时缩放策略（best@k vs 每步推理更多token）。

figure20

图20： 代码世界模型（CWM）与其他主流大语言模型在编码基准（SWE-bench）上的表现对比。图标注摘自https://www.arxiv.org/abs/2510.02387。

5. 小型递归Transformer

你可能已经注意到，前面所有方案依然建立在Transformer架构之上。本节的主题也不例外，但和之前讨论的模型不同，这些是专为推理设计的小型专用Transformer。

没错，专注于推理的架构不一定非得很大。事实上，随着https://arxiv.org/abs/2506.21734（HRM）的出现，一种新型小型递归Transformer最近在研究界引发了大量关注。

figure21

图21： 大语言模型领域概览；本节介绍小型递归Transformer。

更具体地说，HRM的研究者证明，即便是非常小的Transformer模型（仅4个块），只要经过训练逐步细化答案，就能在特定问题上展现出惊人的推理能力。这让它在ARC挑战赛上登顶。

figure22

图22： ARC-AGI 1任务示例（上）来自arcprize.org/arc-agi/1；分层推理模型（HRM）在排行榜上的排名（下）来自arcprize.org/blog/hrm-analysis。

HRM这类递归模型的理念是：模型不是一次前向传播就生成答案，而是以递归方式反复细化自己的输出。（在这个过程中，每次迭代都会细化一个潜在表示，作者将其视为模型的“思考”或“推理”过程。）

第一个代表性例子是今年初夏的HRM，随后是https://arxiv.org/abs/2507.10524。

而就在最近，https://arxiv.org/abs/2510.04871（2025年10月）提出了小型递归模型（Tiny Recursive Model，TRM），如下图所示。它是一种更简单、甚至更小的模型（700万参数，大约比HRM小4倍），在ARC基准上的表现甚至更优。

figure23

图23： 小型递归模型（TRM）。图标注摘自https://arxiv.org/abs/2510.04871。

本节剩下的部分，我们来稍微详细地了解一下TRM。

5.1 这里的“递归”指什么？

TRM通过两次交替更新来细化答案：

  1. 它根据当前的问题和答案计算一个潜在推理状态。

  2. 然后基于该潜在状态更新答案。

训练时，每批次最多执行16步细化。每一步都会执行若干无梯度循环，迭代细化答案。随后是一个梯度循环，通过完整的推理序列反向传播，更新模型权重。

需要重点注意的是，TRM不是处理文本的语言模型。但由于：（1）它是基于Transformer的架构；（2）推理是当前大语言模型研究的核心焦点，而该模型代表了一种截然不同的推理思路；（3）很多读者要求我介绍HRM（而TRM是其更先进的继任者），因此我决定把它纳入本文。

虽然TRM未来可以扩展到文本问答任务，但目前它处理的是基于网格的输入和输出。换句话说，“问题”和“答案”都是离散token组成的网格（比如9×9的数独，或者30×30的ARC/迷宫谜题），而非文本序列。

5.2 TRM与HRM有何不同？

  • HRM由两个小型Transformer模块（各4个块）组成，跨递归层级通信。TRM仅使用单个2层Transformer。（注意前面TRM的图中Transformer块旁边标了4×，但那可能是为了方便和HRM对比。）

  • TRM通过所有递归步骤反向传播，而HRM仅通过最后几步反向传播。

  • HRM包含显式的停止机制，以决定何时停止迭代。TRM用简单的二元交叉熵损失替代了该机制，学习何时停止迭代。

在性能方面，TRM相比HRM表现非常出色，如下图所示。

figure24

图24： 分层推理模型（HRM）与小型递归模型（TRM）的性能对比。

论文中包含了数量惊人的消融研究，得出了一些有意思的额外结论。这里列出两个最突出的：

  • 层数越少，泛化性越好。从4层减少到2层，数独准确率从79.5%提升到了87.4%。

  • 注意力并非必需。用纯MLP层替换自注意力同样提升了准确率（从74.7%到87.4%）。但这只有在上下文较小且长度固定的情况下才可行。

5.3 更宏观的视角

虽然HRM和TRM在这些基准上取得了非常好的推理表现，但把它们和大型大语言模型相比并不太公平。HRM和TRM是针对ARC、数独、迷宫寻路等任务的专用模型，而大语言模型是通用模型。当然，HRM和TRM也可以应用于其他任务，但都必须针对每个任务专门训练。因此从这个意义上说，我们或许可以把HRM和TRM看作高效的便携计算器，而大语言模型更像电脑，还能做很多其他事情。

尽管如此，这些递归架构依然是令人振奋的概念验证，彰显了小型高效模型如何通过迭代自我完善来“推理”。或许未来，这类模型可以作为推理或规划模块，嵌入到更大的使用工具的大语言模型系统中。

就目前而言，大语言模型依然是泛用任务的理想选择，但一旦目标领域足够清晰，像TRM这样的领域专用递归模型就能更高效地解决特定问题。除了数独、迷宫寻路和ARC这些概念验证基准之外，这类模型在物理和生物领域可能还有很多应用场景。

一个有趣的小细节：作者分享说，训练这个模型只花了不到500美元，用4张H100显卡训练了大约2天。很高兴看到，不用数据中心也依然能做出有意思的研究。

6. 结论

我原本计划覆盖概览图中的所有模型类别，但由于文章篇幅超出预期，我只能把xLSTM、液态基础模型、Transformer-RNN混合架构以及状态空间模型留到下次再讲（不过门控DeltaNet已经让我们初步领略了状态空间模型和递归设计）。

作为本文的总结，我想重申之前的观点：标准的自回归Transformer大语言模型经过了充分验证，至今依然经受住了时间的考验。如果不把效率作为首要考量，它们依然是目前的最佳选择。

传统解码器式自回归Transformer

  • 经过验证、工具链成熟

  • 原理清晰易懂

  • 缩放定律明确

  • 性能顶尖
    – 训练成本高昂
    – 推理成本高昂（除了前文提到的优化技巧）

如果我今天要启动一个新的基于大语言模型的项目，自回归Transformer大语言模型会是我的首选。

我确实认为即将到来的注意力混合架构非常有前景，尤其是在处理长上下文、效率成为核心痛点的场景中。

线性注意力混合架构

  • 和解码器式Transformer特性一致

  • 长上下文任务下减少计算量和KV内存
    – 复杂度增加
    – 用一定精度换取效率

在更激进的一端，文本扩散模型是一项有意思的进展。我对它们在日常使用中的表现依然持一定的怀疑态度，因为我只试过几个快速演示。希望谷歌的Gemini Diffusion很快能带来大规模的生产级部署，让我们可以在日常任务和编码任务中测试，看看用户实际体验如何。

文本扩散模型

  • 迭代去噪是文本领域的全新思路

  • 并行性更好（无下一个token依赖）
    – 无法流式输出答案
    – 无法从思维链（CoT）中受益？
    – 工具调用难度大？
    – 模型扎实但未达顶尖水平

虽然文本扩散模型的主要卖点是提升效率，但代码世界模型处于光谱的另一端，它们致力于提升建模性能。在撰写本文时，基于标准大语言模型的编码模型大多通过推理技术来优化，但如果你在更棘手的挑战上试过它们，可能已经发现它们或多或少依然存在不足，无法很好地解决很多更难的编码问题。

我认为代码世界模型特别有意思，相信它们可能是迈向更强大编码系统的重要一步。

代码世界模型

  • 提升代码理解的前景广阔

  • 可验证的中间状态
    – 加入可执行代码轨迹让训练更复杂
    – 代码运行增加延迟

最后，我们介绍了小型递归Transformer，比如分层推理模型和小型推理模型。这些都是非常有意思的概念验证模型。但截至目前，它们主要还是谜题求解器，而非通用文本或编码模型。因此它们和本文介绍的其他非标准大语言模型替代方案不属于同一类别。尽管如此，它们依然是非常精彩的概念验证，我很高兴有研究者在深耕这些方向。

如今，GPT-5、DeepSeek R1、Kimi K2等大语言模型都被开发为面向自由文本、代码、数学问题等场景的专用模型。它们给人的感觉像是一种蛮力、全能的方案，被用来解决从常识问答到数学、代码的各种任务。

然而，当我们重复执行相同任务时，这种蛮力方案会变得低效，甚至在专业化方面也未必理想。这正是小型递归Transformer的价值所在：它们可以作为轻量级、任务专属的模型，针对重复性或结构化推理任务做到高效且定制化。

此外，我还可以把它们看作其他调用工具的大语言模型的潜在“工具”；比如，当大语言模型使用Python或计算器API解决数学问题时，专用的小型推理模型可以填补其他类型谜题或推理问题的空白。

小型递归Transformer

  • 架构非常小巧

  • 在谜题任务上泛化性好
    – 属于专用模型
    – 目前仅适用于谜题场景

这篇文章很长，但我希望你能从中发现一些常被主流大语言模型聚光灯忽略的迷人研究方向。

如果你已经对或多或少有些常规的大语言模型发布感到有些厌倦，希望这篇文章能重新点燃你对AI的热情——因为当下正有大量有趣的研究在发生！

这本杂志是个人热情项目，你的支持是它持续运转的动力。

如果你愿意支持我的工作，可以考虑我的著作https://amzn.to/4fqvn0D，或者它的续作https://mng.bz/Nwr7 。（我相信你会从中学到很多，它们对大语言模型工作原理的讲解深度是你在别处找不到的。）

感谢阅读，也感谢你对独立研究的支持！

《从零构建大语言模型》现已在https://amzn.to/4fqvn0D发售。《从零构建推理模型》可在https://mng.bz/Nwr7获取。

如果你读过这本书，能抽出几分钟时间的话，我会非常感谢你在https://www.amazon.com/Build-Large-Language-Model-Scratch/dp/1633437167留下评价。这对我们作者帮助很大！

你的支持意义重大！谢谢！

Leave a Reply

Your email address will not be published. Required fields are marked *

*