- Prompt Tuning for Generative Multimodal Pretrained Models [75.4]
我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
論文 参考訳（メタデータ） (Thu, 4 Aug 2022 08:56:38 GMT)- 生成的マルチモーダル事前学習モデルへのPrompt tuningとFine tuningを比較した論文。prompt-tuned modelの方が頑健性が高いというのは面白い結果（特定データにひっぱらられにくいという意味で納得感もある）
- リポジトリはGitHub - OFA-Sys/OFA: Official repository of OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework