Dream Fields: テキスト表現からの3Dオブジェクト生成

  • Zero-Shot Text-Guided Object Generation with Dream Fields [111.1]
    ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで、多様な3Dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 実験では、ドリーム・フィールズ(Dream Fields)は、様々な自然言語のキャプションから、現実的で多視点で一貫したオブジェクトの幾何学と色を作り出す。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 2 Dec 2021 17:53:55 GMT)
    • テキストから3次元オブジェクト生成するモデルの提案。論文の通りNeRF(Neural Radiance Fields) とCLIPをつかってできそうな気はするものの、プロジェクトサイトにある結果を見ると非常に面白い。
    • プロジェクトサイトはZero-Shot Text-Guided Object Generation with Dream Fields (ajayj.com)

CLIPstyler: テキストを用いた画像スタイル変換

  • CLIPstyler: Image Style Transfer with a Single Text Condition [34.2]
    既存のニューラルスタイル転送法では、スタイル画像のテクスチャ情報をコンテンツ画像に転送するために参照スタイル画像が必要である。 そこで本稿では,スタイルイメージを必要とせず,所望のスタイルをテキストで記述した上でのみ,スタイル転送を可能にする新しいフレームワークを提案する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Wed, 1 Dec 2021 09:48:53 GMT)
    • テキストの指示を用いて画像のスタイルを変換する研究。「画像」+「Fireというテキスト」を与えると炎で包まれているような画像が生成される。サンプルが面白い。

SEAL(Self-supervised Embodied Active Learning) : 3D空間で行動・知覚・学習

  • SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency [122.2]
    本稿では,SEAL(Self-Embodied Embodied Active Learning)というフレームワークを提案する。 インターネットイメージ上で訓練された知覚モデルを使用して、積極的な探索ポリシーを学ぶ。 我々は3Dセマンティックマップを用いて、行動と知覚の両方を、完全に自己管理された方法で学習する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 2 Dec 2021 06:26:38 GMT)