- Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation [84.4]
我々はインスタンス・アズ・アイデンティティ(IAI)という新しいオンラインVISパラダイムを提案する。 IAIは、検出と追跡の両方の時間情報を効率的な方法でモデル化する。 3つのVISベンチマークで広範な実験を行う。
論文 参考訳（メタデータ） (Fri, 5 Aug 2022 10:29:30 GMT) - 時間情報（前フレームの情報、検出結果）を効率的に使うVIS手法の提案
- リポジトリはGitHub – zfonemore/IAI: The official implementation of Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation.
タグ: 動画処理
Look for the Change: 動画からの状態変化検知
- Look for the Change: Learning Object States and State-Modifying Actions from Untrimmed Web Videos [55.6]
人間の行動は、しばしば「リンゴを切る」や「コーヒーを飲む」といった対象状態の変化を引き起こす。 我々は、対応する対象状態とともに、状態修正動作を協調学習するための自己教師型モデルを開発する。 本モデルでは,ノイズ適応重み付けモジュールを少数の注釈付静止画像で教師する。
論文 参考訳（メタデータ） (Tue, 22 Mar 2022 11:45:10 GMT)- ビデオで作業状態が変わるタイミングを検知する研究。データセットなども公開されている。
- プロジェクトサイトはLook for the Change: Learning Object States and State-Modifying Actions from Untrimmed Web Videos (cvut.cz)
映像内のシーン効果（影、反射、生成された煙など）
- Omnimatte: Associating Objects and Their Effects in Video [100.7]
映像内のオブジェクトに関連するシーン効果は通常、コンピュータビジョンによって見過ごされる。 本研究では,映像におけるオブジェクトとその効果を自動的に関連付ける,この新しい問題を解決するための一歩を踏み出す。 私達のモデルは手動ラベルなしで自己監督された方法で入力ビデオでだけ訓練され、ジェネリックです—任意目的およびいろいろな効果のためのオムニマトを自動的に作り出します。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 14 May 2021 17:57:08 GMT)- 画像判定等で無視されがちな影など関連する効果を扱う論文。動画編集などで物体を削除する・差し替える際など、実アプリケーションでも有用そう。
- https://omnimatte.github.io/ の動画が分かりやすい。