原文地址：Understanding Parameter-Efficient LLM Finetuning: Prompt Tuning And Prefix Tuning，by Sebastian Raschka, on 2023-04-30

理解大语言模型参数高效微调：提示调优与前缀调优

上周我概述了大语言模型（LLM）的各类微调技术。接下来我会用一系列短文，逐一讲解其中最具实用价值的核心方法。

《大语言模型微调》

我们先从几类基于提示修改的参数高效微调技术讲起。

本文将覆盖的参数高效微调技术一览：

提示调优（Prompt Tuning）

提示调优的核心思路，是通过调整输入提示来获得更好的模型效果。举个例子，如果我们想把一句英文翻译成德文，可以用多种不同的方式向模型提问，如下图所示。

硬提示调优示例：通过调整输入文本的表述方式，获得更优的输出结果

上图这种方式被称为硬提示调优—— 我们直接修改离散的输入文本 Token，而这些 Token 本身是不可微分的。