When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations
When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations [105.6] コンテキストベースのファインチューニングメソッドは、パラメータのごく一部でフルファインチューニングのパフォーマンスにマッチすることが多いため、人気を集めている。 連続埋め込み空間は離散トークン空間よりも表現力が高いにもかかわらず、ソフトプロンプティングとプレフィックスチューニングは完全な微調整よりも厳密に表現力に乏しいことを示す。 論文参考訳（メタデータ） (Mon, 30 Oct 2023 16:19:34 GMT)
in-context learning, soft prompting, prefix tuningといったテクニックの限界（LLM内のスキルは引き出せるが新たなアテンションパターンが必要なタスクには対応できない）を示した論文、「it appears to be still strictly less expressive than full fine-tuning.」というのはそうなんだろうけど、実用的には本当かと思わなくもない挙動を観測したりもする。LLM内のデータが想像以上に多様なんだろうと思う。
「This paper formally showed that fine-tuning techniques working in embedding space, such as soft prompting and prefix-tuning, are strictly more expressive than prompting which operates in the discrete token space.」も面白い。