- A Practitioner’s Guide to Continual Multimodal Pretraining [83.6]
マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
論文 参考訳（メタデータ） (Mon, 26 Aug 2024 17:59:01 GMT) - 継続的な学習、特にマルチモーダルなモデルに対するものベンチマーク及びガイドラインの提案。ベンチマークはFoMo-in-Flux (Foundation-Models-in-Flux)と呼ばれるデータセットで広範。
- リポジトリはGitHub – ExplainableML/fomo_in_flux