タグ: PEFT

ReFT: Representation Finetuning for Language Models & LoReFT: Low-rank Linear Subspace ReFT

  • ReFT: Representation Finetuning for Language Models [74.5]
    我々は、Representation Finetuning (ReFT)メソッドのファミリーを開発する。 LoReFTは、従来の最先端PEFTよりも10x-50倍高いパラメータ効率の介入を学習する。 本稿では,8つのコモンセンス推論タスク,4つの算術推論タスク,Alpaca-Eval v1.0,GLUEについて紹介する。
    論文  参考訳（メタデータ）   (Thu, 04 Apr 2024 17:00:37 GMT)
  • 「Instead of adapting model weights, ReFT methods train interventions that manipulate a small fraction of model representations in order to steer model behaviors to solve downstream tasks at inference time.」という手法の提案、LoRAと比べて少ないパラメータで強力な性能を発揮しているように見える。「It takes ≈18 minutes to train our Llama-2 Chat 7B on a single A100 40G GPU with ≈1MB parameters on disk.」と計算時間も少ない。
  • リポジトリはstanfordnlp/pyreft: ReFT: Representation Finetuning for Language Models (github.com)

PEFTのサーベイ

  • Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [57.5]
    Efficient Fine-Tuning (PEFT) は、様々な下流タスクに対して大きなモデルを効率的に適応することで、実用的なソリューションを提供する。 PEFTは、事前訓練された大規模モデルのパラメータを調整して特定のタスクに適応させ、追加のパラメータや計算リソースの数を最小限にするプロセスを指す。 この調査は、PEFTアルゴリズムとそのシステム実装の両方を理解することを目的とした研究者にとって必須のリソースであり、最近の進歩と実用化に関する詳細な知見を提供する。
    論文  参考訳（メタデータ）   (Thu, 21 Mar 2024 17:55:50 GMT)
  • PEFTのサーベイ
  • 非常に多くの研究成果が出ている領域であり、ほんとうにありがたい