- Multimodal Latent Language Modeling with Next-Token Diffusion [111.9]
マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
論文 参考訳（メタデータ） (Wed, 11 Dec 2024 18:57:32 GMT) - 連続データと離散データをうまく扱うアプローチの提案と有効性検証、連続データをVAEで潜在ベクトルに変換、next-token diffusionで次のベクトルを生成するフレームワーク。
- 効果的に動いていそうでとても興味深い結果。Futureworkにも書かれているように応用範囲が広そう。