Lumiere

  • Lumiere: A Space-Time Diffusion Model for Video Generation [67.6]
    本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。 これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。 空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
    論文  参考訳（メタデータ）   (Tue, 23 Jan 2024 18:05:25 GMT)
  • Twitterでも話題になったビデオ合成用の拡散モデルの提案。Space-Time U-Netを活用とのことでStable diffuionの素直な拡張なのだろうか。デモサイトのビデオが高画質でびっくり。Video Stylization、Cinemagraphs、Video Inpainting、すべてが高レベル。
  • リポジトリはLumiere (lumiere-video.github.io)

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です