2022年8月15日 – arXiv最新論文の紹介

Language-Guided Face Animation by Recurrent StyleGAN-based Generator [65.8]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文参考訳（メタデータ） (Thu, 11 Aug 2022 02:57:30 GMT)
- 入力させたテキストに沿って顔画像の表情等を変化させ、かつその変化の過程を違和感のない動画にするという研究。リポジトリの動画を見るのが分かりやすい。
- リポジトリはGitHub – TiankaiHang/language-guided-animation: Language-Guided Face Animation by Recurrent StyleGAN-based Generator

Prompt Tuning for Generative Multimodal Pretrained Models [75.4]
我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
論文参考訳（メタデータ） (Thu, 4 Aug 2022 08:56:38 GMT)
- 生成的マルチモーダル事前学習モデルへのPrompt tuningとFine tuningを比較した論文。prompt-tuned modelの方が頑健性が高いというのは面白い結果（特定データにひっぱらられにくいという意味で納得感もある）
- リポジトリはGitHub – OFA-Sys/OFA: Official repository of OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

日: 2022年8月15日