- LIMA: Less Is More for Alignment [112.9]
65B パラメータ LLaMa 言語モデル LIMA のトレーニングを行う。 LIMAは、非常に強力なパフォーマンスを示し、少数の例から特定のレスポンスフォーマットに従うことを学ぶ。 制御されたヒトの研究では、LIMAからの反応は43%の症例において、GPT-4に等しいか、厳格に好まれる。
論文 参考訳（メタデータ） (Thu, 18 May 2023 17:45:22 GMT) - 強力なベースモデルとよくキュレーションされた1000個の例があれば複雑なクエリを扱えるChatGPTのような動きが可能という報告。
- 「Taken together, these results strongly suggest that almost all knowledge in large language models is learned during pretraining, and only limited instruction tuning data is necessary to teach models to produce high quality output.」ということで事前学習モデルの重要性は他の報告と整合的。
タグ: fine tuning
The False Promise of Imitating Proprietary LLMs
- The False Promise of Imitating Proprietary LLMs [158.7]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文 参考訳（メタデータ） (Thu, 25 May 2023 05:00:12 GMT) - 様々な所でトライされている「強力なLLMからの出力を使って、そうでもないLLMをfine tune」するアプローチを検証した論文。指示に良く従うように見えるが本質的な性能差を埋めているわけではないとの指摘。
- 「We showed that imitation can indeed improve the style, persona, and instruction adherence of open-source LMs. However, imitation falls short in improving LMs across more challenging axes such as factuality, coding, and problem solving.」ということで応答部分の模倣がうまくいくからと言って問題を解く能力が増加して言えるわけでない、という当たり前と言えば当たり前の指摘。。
OSSなLLMだとLLaMAをoutperformしたというFALCON-40B、tiiuae/falcon-40b · Hugging Faceに期待大、Open LLM Leaderboard – a Hugging Face Space by HuggingFaceH4で現在のところトップの性能。商用利用時にはライセンス利用料が必要とのことで、ライセンスはよく読んで理解する必要がある。
Visual Tuning
- Visual Tuning [141.9]
微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
論文 参考訳（メタデータ） (Wed, 10 May 2023 11:26:36 GMT) - 下流タスクへの適合方法を扱ったサーベイ。研究が盛んな分野であり、非常に参考になる。
- Table 2 A comprehensive review and classification of visual tuning methods.が良く、fine-tuning、prompt tuning、adapter tuning、parameter tuning、remapping tuningと多様な手法が紹介されている。
生成型マルチモーダルモデルへのPrompt Tuning
- Prompt Tuning for Generative Multimodal Pretrained Models [75.4]
我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
論文 参考訳（メタデータ） (Thu, 4 Aug 2022 08:56:38 GMT)- 生成的マルチモーダル事前学習モデルへのPrompt tuningとFine tuningを比較した論文。prompt-tuned modelの方が頑健性が高いというのは面白い結果（特定データにひっぱらられにくいという意味で納得感もある）
- リポジトリはGitHub – OFA-Sys/OFA: Official repository of OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
Delta Tuning: 事前学習モデルの効率的なチューニング
- Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.2]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文 参考訳（メタデータ） (Mon, 14 Mar 2022 07:56:32 GMT)- モデルのパラメータ全体を対象としないチューニング法（Delta Tuning）のサーベイとオープンソースのフレームワークの提案。
- リポジトリはGitHub – thunlp/OpenDelta: A plug-and-play library for parameter-efficient-tuning (Delta Tuning)
NoisyTune: PLMのfinetuneをよくするノイズ付与
- NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better [98.6]
訓練済み言語モデル(PLM)の微調整は、下流タスクの成功に不可欠である。 PLMは、事前訓練の信号に過度に適合する危険性があり、下流のタスクと事前訓練のタスクの間にはギャップがある。 NoisyTuneは、微調整前にPLMのパラメータにいくつかのノイズを加えることで、下流タスクにおけるPLMの微調整を支援する。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 24 Feb 2022 11:08:02 GMT)- 事前学習モデルのパラメータにノイズを加えるだけというシンプルな手法でfine tuning後の性能を向上させるという報告。ほんまかいなと思いつつ、一貫して性能が上がっているのが凄い。
効果的なfine-tuningデータの選択戦略
- Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.1]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 24 Nov 2021 06:18:32 GMT)- 近しいデータ（鳥画像分類データセットであるCUBにImageNetの鳥類を加えるなど）をfine tuningで使用すると最終性能を上げられることがある。ラベルがあればそれを利用すればよいが、ラベルがない場合は対象データに近いデータセット（サブセット）を選択する必要がある。この論文ではこの問題をunbalanced optimal transport (UOT) 問題として解く手法を提案、効果を検証している。
- 自然言語処理な分野でも最適輸送を使った機械学習系の論文をちょくちょく見る気がする。とても興味深い。
- 近しいデータ（鳥画像分類データセットであるCUBにImageNetの鳥類を加えるなど）をfine tuningで使用すると最終性能を上げられることがある。ラベルがあればそれを利用すればよいが、ラベルがない場合は対象データに近いデータセット（サブセット）を選択する必要がある。この論文ではこの問題をunbalanced optimal transport (UOT) 問題として解く手法を提案、効果を検証している。
教師無しのfine-tuning
- Unsupervised Finetuning [80.6]
ソースデータとターゲットデータを組み合わせて教師なしの微調整を行うための2つの戦略を提案する。 前者の戦略の動機は、事前訓練された表現空間を占有するために、少量のソースデータを追加することである。 後者の戦略の動機は、データ密度を高め、よりコンパクトな表現を学ぶことにある。
論文 参考訳（メタデータ） (Mon, 18 Oct 2021 17:57:05 GMT)- 教師無しのfine-tuning手法の提案、対象は画像処理。ドメイン適合と考えれば効果はありそうだが、実際にこの方針で性能が上がるのはすごい。
BitFit(Bias-terms Fine-tuning ): BERTのごく一部のfine tuning
- BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.5]
我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 ファインチューニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 18 Jun 2021 16:09:21 GMT)- バイアス項とタスク固有の分類層のみ、BERTの極一部（0.1%以下）を変更対象としてもベンチマークで十分な性能を出すfine tuningが可能という報告。処理の効率化という点でも重要なものだが、この程度の変更で様々なタスクに対応できるのは直感に反しており非常に興味深い。