Learn and share.
原文地址：Building A GPT-Style LLM Classifier From Scratch，by Sebastian Raschka, on 2024-09-21
在本文中，我将向大家演示如何将预训练大语言模型（LLM）改造为高性能文本分类器。
为什么要聚焦分类任务？首先，针对分类任务微调预训练模型，是入门模型微调技术的优质路径 —— 难度平缓但实用性强。其次，大量现实场景与业务问题本质上都属于文本分类：垃圾邮件检测、情感分析、客户反馈归类、主题标注等等。
将 GPT 模型改造为文本分类器
原文地址：The Missing Bits: Llama 2 Weights Have Changed，by Sebastian Raschka, on 2023-08-27
由于《AI 前沿》第 11 期《新基础模型》的正文篇幅过长，我将几则与 Llama 2 权重相关的趣味技术细节从主通讯中剥离了出来。把这些内容作为小福利分享给《AI 前沿》的支持者们也很不错，再次感谢大家的热心支持！
在这篇精简文章中，我们将简要分析 Llama 2 的权重特性，以及以不同浮点精度格式托管权重带来的实际影响。
上周我概述了大语言模型（LLM）的各类微调技术。接下来我会用一系列短文，逐一讲解其中最具实用价值的核心方法。
我们先从几类基于提示修改的参数高效微调技术讲起。
本文将覆盖的参数高效微调技术一览：
