原文地址：Building LLMs from the Ground Up: A 3-hour Coding Workshop，by Sebastian Raschka, on 2024-08-31

从零构建大语言模型：3小时编程讲习班

如果你想在这个周末花几个小时深入钻研大语言模型（LLM）并理解其工作原理，我准备了一场时长3小时的编程讲习班演示，内容涵盖大语言模型的实现、训练与使用。

https://www.youtube.com/watch?v=quh7z1q7-uc

你可以在下方查看目录，了解本次视频涵盖的内容（视频本身带有可点击的章节标记，你可以直接跳转到感兴趣的主题）：

0:00 – 讲习班概览
2:17 – 第一部分：大语言模型入门
9:14 – 讲习班配套材料
10:48 – 第二部分：理解大语言模型的输入数据
23:25 – 一个简易分词器类
41:03 – 第三部分：编写大语言模型架构代码
45:01 – GPT-2 与 Llama 2
1:07:11 – 第四部分：预训练
1:29:37 – 第五部分第1节：加载预训练权重
1:45:12 – 第五部分第2节：通过 LitGPT 加载预训练权重
1:53:09 – 第六部分第1节：指令微调
2:08:21 – 第六部分第2节：通过 LitGPT 进行指令微调
02:26:45 – 第六部分第3节：基准测试评估
02:36:55 – 第六部分第4节：对话性能评估
02:42:40 – 结语

这和我平时发布的文字类内容略有不同，但几个月前我第一次做这类内容时反响非常好，所以我觉得再做一期应该会很不错！
祝观看愉快！

参考资料

https://mng.bz/M96o
https://github.com/rasbt/LLMs-from-scratch
https://github.com/rasbt/LLM-workshop-2024
https://lightning.ai/lightning-ai/studios/llms-from-the-ground-up-workshop
https://github.com/Lightning-AI/litgpt

这本刊物是我的个人兴趣项目。如果愿意支持我的话，不妨考虑购买我的书：https://amzn.to/4fqvn0D 。（我相信你能从这本书中收获颇丰，因为它对大语言模型工作原理的讲解细致程度是其他资料中绝无仅有的。）

《从零构建大语言模型》现已上架：https://amzn.to/4fqvn0D

如果你读过这本书，并且能抽出几分钟时间，我会非常感谢你留下评价：https://www.amazon.com/Build-Large-Language-Model-Scratch/dp/1633437167 。这对我们作者来说帮助很大！

另外，我最近也在Substack上开通了付费订阅选项，你可以直接通过这种方式支持这本刊物。

《Ahead of AI》是一份由读者支持的出版物。想要接收新文章并支持我的创作，欢迎成为免费或付费订阅者。