原文地址：How Claude Watermarks AI-Generated Text，by Sebastian Raschka, on 2025-08-22

Claude如何为AI生成文本添加水印

一段 48 分钟的视频讲解，涵盖 token sampling、watermark detection 与水印移除方法

我最近发布了一则笔记 https://substack.com/@rasbt/note/c-315339554?r=gb4sb&utm_source=notes-share-action&utm_medium=web ，介绍了 Claude 全新的文本水印方案 https://www.anthropic.com/news/claude-text-watermark 及其实现方式。这个话题热度很高，也引发了非常热烈的讨论，我觉得可以进一步展开，更详细地讲解它的工作原理。

这次我没有采用常规的文字文章形式，而是录制了一期关于该主题的小型讲座（算是换一种内容呈现形式）。下方是视频以及对应的文字稿。

原本我只打算做 10 页幻灯片，录一段 10 分钟的短视频，但在制作过程中不断补充了不少关键细节，最终做成了超过 50 页幻灯片、时长 48 分钟的内容。希望这份讲解能把原理讲清楚，祝大家观看愉快！

如果你偏好使用 YouTube 播放器，可通过此链接观看：https://youtu.be/tLv7qRWFMlw
讲座幻灯片下载地址：https://sebastianraschka.com/pdf/slides/2026-08-18-claude-watermarking.pdf

视频文字稿

注：以下文字稿经过轻度编辑优化，提升了可读性，但完整保留了原视频讲座的内容顺序与讲解逻辑。
https://www.youtube.com/watch?v=tLv7qRWFMlw

Continue reading 【转载】Claude如何为AI生成文本添加水印→

原文地址：Building an AI Text Detector From Scratch，by Sebastian Raschka, on 2026-08-15

从零构建AI文本检测器

一个涵盖数据集构建、模型训练、本地部署与RLVR的端到端项目

Substack最近在界面中推出了AI检测功能，这非常有意思。
与此同时，很多人向我询问有哪些值得动手实践的本地LLM项目，可以作为演示，展示小语言模型（SLM）的能力。

把这两件事结合起来，我觉得实现一个AI检测器会是个很有意思的选题。我还会把它作为验证器，训练一个小语言模型来生成能够规避检测的文本。这是一个小型教学项目，用于研究AI检测器的局限性，同时探索一种基于验证器的LLM应用方向——它不同于常规基于数学和代码训练的推理模型。

图1：Substack现已内置AI检测器功能。

如上所述，本教程的核心目标是通过搭建一个简易的AI检测器，讲解其工作原理。
在实际场景中，这类检测器可以用来过滤垃圾内容，也可以用来优化个人写作风格，避免文本变成AI生成的风格。举个例子，如果你写了一篇长文，想优化拼写和语法，用语法检查工具润色、提升可读性是很诱人（也确实很实用）的做法。这类工具很多，包括ChatGPT这类通用LLM都能做到。但这也带来了风险：即便内容本质上还是你自己写的，经过这类工具过度润色后，文风会变得像AI生成的，进而被标记为垃圾内容。

比如，有了AI检测工具，我们就可以提出要求：“修正我的语法，同时保证我的文本AI生成率得分为0%。”

言归正传，我们会在本文搭建一个功能完整的检测工具，目标有两个：一是讲解AI检测工具的工作原理；二是以它为案例，讲解更通用的技术——如何构建一个可与LLM配合使用的评分器或验证器。

免责声明：AI检测本质上是一场猫鼠游戏。AI检测器可以学会识别某些AI生成内容的特征模式，但下一代LLM可能会偶然或刻意地不呈现这些模式，从而规避检测。之后检测器又要更新迭代以识别新的模型，如此循环往复。此外，检测器也难免会出现误报（把人类写的文本判定为AI生成），这一点后面会详细展开。

Continue reading 【转载】从零构建AI文本检测器→

原文地址：Kimi K3 Architecture Notes，by Sebastian Raschka, on 2026-07-28

Kimi K3 架构笔记

作者：Sebastian Raschka

本文整理了昨日重磅发布的开源权重模型 Kimi K3 的架构示意图，以及我个人的一些观察与思考。

1、诚然，它的结构看起来相对复杂，但本质上是去年发布的 Kimi Linear 模型的规模化生产版本 —— 参数量从 480 亿扩容至 2.8 万亿，K3 也是目前全球规模最大的开源权重模型。

Continue reading 【转载】Kimi K3 架构笔记→

原文地址：Using Local Coding Agents，by Sebastian Raschka, on 2026-07-27

使用本地 Coding Agent

以开源权重模型搭建本地编码框架，替代 Claude Code 与 Codex 订阅

过去常有读者问起我日常使用的本地代理技术栈，以及具体的搭建方式。
因此我打算整理一份简明教程，介绍如何用开源工具与开源权重大模型，搭建一套本地化的（编码）代理系统。

图 1：本地技术栈总览 —— 即通过推理引擎 / 运行时服务托管本地模型，在此之上运行编码代理框架。

本文是一篇搭建生产级本地编码代理的实操教程。我们将采用本地部署的大语言模型，搭配本地编码代理框架；该框架可读取文件、执行修改、运行命令并验证变更，整体架构如上图所示。

我们可以把大模型看作提供推理与代码生成能力的核心引擎，而外围的代理框架则提供运行环境，让大模型能在本地项目中完成有实际价值的编码工作。

为什么选择本地化方案？对很多编码场景而言，本地部署是 GPT（搭配 Codex）、Opus（搭配 Claude Code）这类商业服务的优质替代方案。本地架构透明可查，除硬件与电费外几乎零运行成本；数据完全由自己掌控，编码代理框架也可按需任意修改。除此之外，整个搭建过程本身也很有乐趣。

顺便一提，如果想了解编码代理框架的更多背景知识，我在这篇文章里讲过编码代理的核心组件，以及如何从零搭建一个用于学习的编码代理：
https://magazine.sebastianraschka.com/p/components-of-a-coding-agent

Continue reading 【转载】使用本地 Coding Agent→

原文地址：Controlling Reasoning Effort in LLMs，by Sebastian Raschka, on 2026-07-18

大语言模型的推理强度调控

大模型如何习得低、中、高三档推理模式

OpenAI 发布 o1 模型、让 “基于大语言模型的推理模型” 概念普及至今，已过去近两年。约四个月后，DeepSeek-R1 问世，同时公开了训练这类推理模型的可验证奖励强化学习（RLVR） 完整方案。

上周，OpenAI 发布 GPT-5.6 模型系列，该系列包含三种参数量规格，每个规格均设有约 5-6 档推理强度可选。

图1：不同推理强度档位下的GPT 5.6 Sol模型表现。（Ultra档位的基准测试数据目前尚未公布，但性能应与Max档位接近——二者推理强度相当，只是Ultra通过4个子智能体并行加速了执行过程。）

Continue reading 【转载】大语言模型的推理强度调控→

LLM Research Papers: The 2026 List (January to May)，by Sebastian Raschka, on 2026-06-06

大语言模型研究论文：2026年精选清单（1-5月）

很多读者可能知道，我一直有个长期习惯：会持续整理一份研究论文清单，收录那些我想研读、复盘，或是未来写文章、做项目时会引用的文献。

去年我分享过两份整理好的论文清单，分别覆盖上半年（1-6 月）和下半年（7-12 月）。

不少读者反馈这些清单非常实用，因此我沿用同样的思路，整理了 2026 年上半年的新清单，收录了 2026 年 1 月至 5 月我标记的论文。

请注意，这并非今年所有发表论文的完整汇总 —— 每天都有大量论文发布，做完整汇总完全不现实。这份清单是基于我个人认为有趣、或与自身工作相关的论文筛选而成的精选参考列表。整理时我仔细核对了每篇论文的标题、摘要与主题定位，但坦白说，我也只深入精读了其中一部分。

为什么要做这些清单？每当我撰写文章、书稿章节、代码示例或是备课时，常会想起 “之前在哪看到过一篇相关论文”，但回头去找往往格外麻烦。一份分类清晰的 Markdown 清单就能解决这个问题，希望对你们也同样有用。（即便在如今大模型网页搜索的时代，一份有明确语境的专题清单依然很有价值。）

今年的清单依然偏重推理模型、强化学习与高效推理方向 —— 毕竟我个人更倾向于收藏和当前工作相关的论文。不过和 2025 年的清单相比，我也新增了更多关于智能体框架、工具调用、长上下文、扩散语言模型以及实际服务部署基础设施的论文，这既是我当下重点关注的方向，也是整个领域的发展趋势。

本研究论文清单分为以下类别。

• 架构与模型设计

• 高效训练与规模化

• 推理效率与 KV 缓存

• 稀疏注意力与长上下文

• 推理与测试时计算

• 强化学习与可验证奖励强化学习（RLVR）

• 智能体系统与工具调用

• 代码智能体与软件工程

• 扩散语言模型

• 模型评估与基准测试

Continue reading 【转载】大语言模型研究论文：2026年精选清单（1-5月）→

原文地址：Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention，by Sebastian Raschka, 2025-05-16

大语言模型架构最新进展：KV共享、mHC与压缩注意力

从 Gemma 4 到 DeepSeek V4：开源大模型如何降低长上下文成本

短暂休假陪伴家人后，我很高兴回归，跟进这几周密集发布的开源大语言模型。其中最突出的一点是，新一代架构都将重心放在了长上下文效率优化上。

随着推理模型与智能体工作流需要保留更多 token（且保留时长更长），KV 缓存大小、内存带宽与注意力计算成本很快成为核心瓶颈。为此，大模型开发者正在引入越来越多的架构技巧来降低这些开销。

本文重点分析四个典型设计：Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力配额、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的流形约束超连接（mHC）+ 压缩注意力方案。

在我的架构示意图里，这些改动大多看起来只是微调，但其中不少是相当精巧的设计变更，值得展开详细讨论。

图 1 2026 年 4-5 月发布的主流开源大模型架构示意图。完整图片与更多细节可在我的大模型架构图库中查看。图中未列出所有模型尺寸；Qwen3.6 包含 27B 与 35B-A3B 版本，ZAYA1 以 8B 模型为代表（省略 ZAYA1-base 与 ZAYA1-reasoning-base 版本）。虚线框标注的架构将在本文中详细解读。

Continue reading 【转载】大语言模型架构最新进展：KV共享、mHC与压缩注意力→

My Workflow for Understanding LLM Architectures，by Sebastian Raschka, 2024-04-18

我理解大语言模型架构的工作流程

一套面向学习、用于解析新开源权重模型的工作方法

过去几个月里，很多人希望我分享一下，我是如何梳理出文章、演讲以及「大语言模型架构图鉴（LLM-Gallery）」里那些架构示意图的。因此我觉得，把自己常用的流程整理成文应该会有所帮助。

简而言之，我通常会从官方技术报告入手，但如今的论文往往不如以往详尽，产业实验室发布的绝大多数开源权重模型更是如此。

好在如果模型权重已在 Hugging Face 模型中心（Model Hub）公开，且 Python 的 transformers 库已支持该模型，我们通常可以直接查看配置文件与参考实现，获取更多架构细节。而能正常运行的代码从不会说谎。

图 1：这套工作流的核心出发点 —— 如今论文细节往往不足，但可运行的参考实现为我们提供了具象的研究对象。

Continue reading 【转载】我理解大语言模型架构的工作流程→

原文地址：Components of A Coding Agent，by Sebastian Raschka, on 2026-04-04

Coding Agent的组成:Coding Agent如何借助工具、记忆与 repo 上下文，让 LLM 在实际应用中发挥更优效果

在本文中，我将全面讲解 coding agents 与 agent harnesses 的设计体系：它们的定义、运行机制，以及各个模块在实践中的协作逻辑。读过我《Build a Large Language Model (From Scratch)》和《Build a Large Reasoning Model (From Scratch)》的读者经常问及代理相关的问题，因此我打算写一篇可供查阅的系统参考文章。

更宽泛地说，代理已经成为 LLM 领域的核心议题之一：近期 LLM 系统的实用化突破，往往不只是模型本身的迭代，更多在于应用方式的升级。在绝大多数真实业务场景中，外围系统（工具调用、上下文管理、记忆机制等）的价值，和模型本身同等重要。这也解释了为什么 Claude Code、Codex 这类产品，比起在普通聊天界面中使用同款模型，实际体验会明显更强。

本文会拆解 coding agent 的六大核心构建模块。

Claude Code、Codex CLI 与其他Coding Agent

你或许已经熟悉 Claude Code 或者 Codex CLI。简单来说，它们本质上是具备代理能力的编码工具：在 LLM 之外包裹了一层应用层，也就是所谓的 agentic harness（代理式框架），从而让编码任务更高效、体验更顺滑。

图 1：Claude Code CLI、Codex CLI，以及我开发的 mini-coding-agent（https://github.com/rasbt/mini-coding-agent）

Continue reading 【转载】Coding Agent的组成→