$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge
$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge [6.1] 我々は,複数のドメインにまたがる仮説的かつ妥当なニュースからなるデータセットである$textitNew News$を紹介した。 我々は,文脈を伴わないモデルから知識を抽出し,文脈を伴わないモデルの重みに組み込むための,セルフプレイデータ生成プロトコルのスイートを探索する。 以上の結果から,Sys2-FTの自己QAプロトコルは,モデルによるニュースの重み付け学習を大幅に改善することが示された。 論文参考訳（メタデータ） (Sat, 03 May 2025 12:49:35 GMT)
ICLとFTのギャップに関する分析とSys2-FTという手法の提案。「Our results demonstrate that the self-QA protocol of Sys2-FT significantly improves models’ in-weight learning of the news.」とのこと。