ReFT: Representation Finetuning for Language Models & LoReFT: Low-rank Linear Subspace ReFT
ReFT: Representation Finetuning for Language Models [74.5] 我々は、Representation Finetuning (ReFT)メソッドのファミリーを開発する。 LoReFTは、従来の最先端PEFTよりも10x-50倍高いパラメータ効率の介入を学習する。 本稿では,8つのコモンセンス推論タスク,4つの算術推論タスク,Alpaca-Eval v1.0,GLUEについて紹介する。 論文参考訳（メタデータ） (Thu, 04 Apr 2024 17:00:37 GMT)
「Instead of adapting model weights, ReFT methods train interventions that manipulate a small fraction of model representations in order to steer model behaviors to solve downstream tasks at inference time.」という手法の提案、LoRAと比べて少ないパラメータで強力な性能を発揮しているように見える。「It takes ≈18 minutes to train our Llama-2 Chat 7B on a single A100 40G GPU with ≈1MB parameters on disk.」と計算時間も少ない。