- Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.2]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文 参考訳（メタデータ） (Mon, 14 Mar 2022 07:56:32 GMT)- モデルのパラメータ全体を対象としないチューニング法（Delta Tuning）のサーベイとオープンソースのフレームワークの提案。
- リポジトリはGitHub – thunlp/OpenDelta: A plug-and-play library for parameter-efficient-tuning (Delta Tuning)