コンテンツへスキップ
- MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.1]
低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (Mon, 20 May 2024 15:48:32 GMT)
- 正方行列を用いたLoRAの改善
- リポジトリはGitHub – kongds/MoRA
- ReFT: Representation Finetuning for Language Models [74.5]
我々は、Representation Finetuning (ReFT)メソッドのファミリーを開発する。 LoReFTは、従来の最先端PEFTよりも10x-50倍高いパラメータ効率の介入を学習する。 本稿では,8つのコモンセンス推論タスク,4つの算術推論タスク,Alpaca-Eval v1.0,GLUEについて紹介する。
論文 参考訳（メタデータ） (Thu, 04 Apr 2024 17:00:37 GMT)
- 「Instead of adapting model weights, ReFT methods train interventions that manipulate a small fraction of model representations in order to steer model behaviors to solve downstream tasks at inference time.」という手法の提案、LoRAと比べて少ないパラメータで強力な性能を発揮しているように見える。「It takes ≈18 minutes to train our Llama-2 Chat 7B on a single A100 40G GPU with ≈1MB parameters on disk.」と計算時間も少ない。
- リポジトリはstanfordnlp/pyreft: ReFT: Representation Finetuning for Language Models (github.com)
- Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [57.5]
Efficient Fine-Tuning (PEFT) は、様々な下流タスクに対して大きなモデルを効率的に適応することで、実用的なソリューションを提供する。 PEFTは、事前訓練された大規模モデルのパラメータを調整して特定のタスクに適応させ、追加のパラメータや計算リソースの数を最小限にするプロセスを指す。 この調査は、PEFTアルゴリズムとそのシステム実装の両方を理解することを目的とした研究者にとって必須のリソースであり、最近の進歩と実用化に関する詳細な知見を提供する。
論文 参考訳（メタデータ） (Thu, 21 Mar 2024 17:55:50 GMT)
- PEFTのサーベイ
- 非常に多くの研究成果が出ている領域であり、ほんとうにありがたい