1. DeepSeek V3/R1
想必大家已经多次听闻，DeepSeek R1 在 2025 年 1 月发布时引发了巨大反响。DeepSeek R1 是基于 DeepSeek V3 架构打造的推理模型，而 DeepSeek V3 架构 于 2024 年 12 月首次推出。
尽管本文的核心关注点是 2025 年发布的架构，但将 DeepSeek V3 纳入讨论是合理的 —— 它是在 2025 年 DeepSeek R1 推出后，才真正获得广泛关注与应用。
Category Archives: 文章转载
【转载】Kimi K3 架构笔记
Kimi K3 架构笔记
作者：Sebastian Raschka
本文整理了昨日重磅发布的开源权重模型 Kimi K3 的架构示意图，以及我个人的一些观察与思考。
1、诚然，它的结构看起来相对复杂，但本质上是去年发布的 Kimi Linear 模型的规模化生产版本 —— 参数量从 480 亿扩容至 2.8 万亿，K3 也是目前全球规模最大的开源权重模型。
【转载】大语言模型架构全面对比14：Kimi Linear
14. Kimi Linear
近年来，为提升大语言模型（LLM）的运行效率，线性注意力机制迎来了新一轮复兴。
2017 年《Attention Is All You Need》论文中提出的注意力机制（即缩放点积注意力），仍是当前大语言模型中应用最广泛的注意力变体。除传统的多头注意力外，它也衍生出了多种更高效的实现形式，例如分组查询注意力、滑动窗口注意力以及多头潜在注意力。
【转载】大语言模型架构全面对比08：Kimi K2 and Kimi K2 Thinking
原文地址 第8章 Kimi K2 and Kimi K2 Thinking
8. Kimi K2 and Kimi K2 Thinking
Kimi K2 近期在 AI 领域引发了巨大反响：作为一款开源权重模型，它的性能表现极为突出。多项基准测试显示，其水平已与谷歌 Gemini、Anthropic Claude、OpenAI ChatGPT 等顶尖闭源模型不相上下。
一个值得关注的设计特点是，它采用了较新的 Muon 优化器 变体，而非行业通用的 AdamW。据我所知，这是 Muon 优化器首次在如此规模的生产级模型中替代 AdamW 落地（此前仅在最高 160 亿参数的模型上验证过可扩展性）。这一方案带来了表现优异的训练损失曲线，大概率是推动该模型登顶上述基准榜单的重要助力。
Continue reading 【转载】大语言模型架构全面对比08：Kimi K2 and Kimi K2 Thinking
【转载】大语言模型架构全面对比00：引言
最近在读Sebastian Raschka博士的文章，内容十分的详实，收获很多。
国内很多朋友没有读过，网络也有些受限，于是准备用LLM翻译成中文，自己读的时候，也方便一下其他有需要的伙伴。
本文只翻译了文章的引言部分，后续将把相同模型的内容，放到一起翻译，顺序和原文地址不太一样，主要是读起来更方便一些。如果你等不及，可以直接看英文原文（如果语言不是障碍，强烈推荐读原文）：
【转载】大语言模型的推理强度调控
原文地址：Controlling Reasoning Effort in LLMs，by Sebastian Raschka, on 2026-07-18
大语言模型的推理强度调控
大模型如何习得低、中、高三档推理模式
OpenAI 发布 o1 模型、让 “基于大语言模型的推理模型” 概念普及至今，已过去近两年。约四个月后，DeepSeek-R1 问世，同时公开了训练这类推理模型的可验证奖励强化学习（RLVR） 完整方案。
上周，OpenAI 发布 GPT-5.6 模型系列，该系列包含三种参数量规格，每个规格均设有约 5-6 档推理强度可选。
图1：不同推理强度档位下的GPT 5.6 Sol模型表现。（Ultra档位的基准测试数据目前尚未公布，但性能应与Max档位接近——二者推理强度相当，只是Ultra通过4个子智能体并行加速了执行过程。）
【转载】大语言模型研究论文：2026年精选清单（1-5月）
LLM Research Papers: The 2026 List (January to May)，by Sebastian Raschka, on 2026-06-06
大语言模型研究论文：2026年精选清单（1-5月）
很多读者可能知道，我一直有个长期习惯：会持续整理一份研究论文清单，收录那些我想研读、复盘，或是未来写文章、做项目时会引用的文献。
去年我分享过两份整理好的论文清单，分别覆盖上半年（1-6 月）和下半年（7-12 月）。
不少读者反馈这些清单非常实用，因此我沿用同样的思路，整理了 2026 年上半年的新清单，收录了 2026 年 1 月至 5 月我标记的论文。
请注意，这并非今年所有发表论文的完整汇总 —— 每天都有大量论文发布，做完整汇总完全不现实。这份清单是基于我个人认为有趣、或与自身工作相关的论文筛选而成的精选参考列表。整理时我仔细核对了每篇论文的标题、摘要与主题定位，但坦白说，我也只深入精读了其中一部分。
为什么要做这些清单？每当我撰写文章、书稿章节、代码示例或是备课时，常会想起 “之前在哪看到过一篇相关论文”，但回头去找往往格外麻烦。一份分类清晰的 Markdown 清单就能解决这个问题，希望对你们也同样有用。（即便在如今大模型网页搜索的时代，一份有明确语境的专题清单依然很有价值。）
今年的清单依然偏重推理模型、强化学习与高效推理方向 —— 毕竟我个人更倾向于收藏和当前工作相关的论文。不过和 2025 年的清单相比，我也新增了更多关于智能体框架、工具调用、长上下文、扩散语言模型以及实际服务部署基础设施的论文，这既是我当下重点关注的方向，也是整个领域的发展趋势。
本研究论文清单分为以下类别。
-
架构与模型设计
-
高效训练与规模化
-
推理效率与 KV 缓存
-
稀疏注意力与长上下文
-
推理与测试时计算
-
强化学习与可验证奖励强化学习（RLVR）
-
智能体系统与工具调用
-
代码智能体与软件工程
-
扩散语言模型
-
模型评估与基准测试
【转载】大语言模型架构最新进展：KV共享、mHC与压缩注意力
大语言模型架构最新进展：KV共享、mHC与压缩注意力
从 Gemma 4 到 DeepSeek V4：开源大模型如何降低长上下文成本
短暂休假陪伴家人后，我很高兴回归，跟进这几周密集发布的开源大语言模型。其中最突出的一点是，新一代架构都将重心放在了长上下文效率优化上。
随着推理模型与智能体工作流需要保留更多 token（且保留时长更长），KV 缓存大小、内存带宽与注意力计算成本很快成为核心瓶颈。为此，大模型开发者正在引入越来越多的架构技巧来降低这些开销。
本文重点分析四个典型设计：Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力配额、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的流形约束超连接（mHC）+ 压缩注意力方案。
在我的架构示意图里，这些改动大多看起来只是微调，但其中不少是相当精巧的设计变更，值得展开详细讨论。
图 1 2026 年 4-5 月发布的主流开源大模型架构示意图。完整图片与更多细节可在我的大模型架构图库中查看。图中未列出所有模型尺寸；Qwen3.6 包含 27B 与 35B-A3B 版本，ZAYA1 以 8B 模型为代表（省略 ZAYA1-base 与 ZAYA1-reasoning-base 版本）。虚线框标注的架构将在本文中详细解读。
【转载】我理解大语言模型架构的工作流程
My Workflow for Understanding LLM Architectures，by Sebastian Raschka, 2024-04-18
我理解大语言模型架构的工作流程
一套面向学习、用于解析新开源权重模型的工作方法
过去几个月里，很多人希望我分享一下，我是如何梳理出文章、演讲以及「大语言模型架构图鉴（LLM-Gallery）」里那些架构示意图的。因此我觉得，把自己常用的流程整理成文应该会有所帮助。
简而言之，我通常会从官方技术报告入手，但如今的论文往往不如以往详尽，产业实验室发布的绝大多数开源权重模型更是如此。
好在如果模型权重已在 Hugging Face 模型中心（Model Hub）公开，且 Python 的 transformers 库已支持该模型，我们通常可以直接查看配置文件与参考实现，获取更多架构细节。而能正常运行的代码从不会说谎。
图 1：这套工作流的核心出发点 —— 如今论文细节往往不足，但可运行的参考实现为我们提供了具象的研究对象。
【转载】Karpathy LLM Wiki
2026年4月，前OpenAI创始成员Andrej Karpathy提出了一种新的个人知识管理新范式，核心是让大语言模型（LLM）充当 “知识编译器”，将零散原始资料（文章、论文、笔记等）自动生成结构化、可持久化、能复利增长的 Markdown 维基知识库。
它采用 Raw Sources（原始资料）、Wiki（LLM 生成的结构化知识库）、Schema（规范配置）三层架构，区别于传统 RAG 的 “运行时检索”，LLM Wiki 提前处理知识并持续维护更新，形成高密度互联的知识图谱（交叉引用的 Markdown Wiki），人类仅负责资料收集与判断，大幅降低知识维护成本。