スケッチ – arXiv最新論文の紹介

SketchDreamer

SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2]
画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
論文参考訳（メタデータ） (Sun, 27 Aug 2023 19:44:44 GMT)
反復的かつ制御しながらスケッチを生成していく手法の提案。スケッチを部分毎に完成させていくのは面白く実用性がありそう。
リポジトリはGitHub – WinKawaks/SketchDreamer

CLIPasso: Semantically-Aware Object Sketching [34.5]
本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。スケッチをB’ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
論文参考訳（メタデータ） (Fri, 11 Feb 2022 18:35:25 GMT)
- 抽象度（≒ストローク数）の異なるスケッチを自動生成する手法の提案。スケッチデータ（画像/スケッチのペアデータ）を必要とせずCLIPを活用しているのが特徴。プロジェクトサイトにある画像が面白い。
  - CLIPassoって略称があっていない気もするが・・・
- プロジェクトサイトはCLIPasso: Semantically-Aware Object Sketching

Deep Facial Synthesis: A New Challenge [76.0]
まず,FS2Kという,2,104のイメージスケッチペアからなる高品質なFSSデータセットを提案する。第2に, 古典的手法139点を調査し, 最大規模のFSSについて検討した。第3に、FSGANという単純なFSSのベースラインを提示する。
論文参考訳（メタデータ）参考訳（全文） (Fri, 31 Dec 2021 13:19:21 GMT)
- 2100以上のデータからなる顔のスケッチデータセット（性別等の属性付き）の紹介と広範囲な調査、ベースラインの提示。顔合成に関するサーベイとしても興味深い内容。
- リポジトリはGitHub – DengPingFan/FSGAN
  - 現時点ではColabのデモは動かなさそう。

Sketch Your Own GAN [36.8]
本稿では1つ以上のスケッチでGANを書き換える手法であるGAN Sketchingを提案する。我々は、ドメイン間の敵対的損失を通じて、ユーザスケッチにマッチするようにモデルの出力を奨励する。提案手法は,写実性や多様性を保ちながら,スケッチで指定した形状やポーズに適合するGANを成形できることを示した。
論文参考訳（メタデータ）参考訳（全文） (Thu, 5 Aug 2021 17:59:42 GMT)
- 1枚程度のスケッチからそれに適合するようにモデルのweightを変更しGANモデル自体を生成するという論文。複雑なポーズの指定や独特なスタイルでのスケッチではうまく動かないという失敗事例も興味深い結果。プロジェクトサイトの独特なスケッチをみて何となく納得した。
- プロジェクトサイトはhttps://peterwang512.github.io/GANSketching/、リポジトリはhttps://github.com/peterwang512/GANSketching（現時点で公開予定）
  - プロジェクトサイトにはたまに怖い画像がある。。。

Compositional Sketch Search [91.8]
フリーハンドスケッチを用いて画像コレクションを検索するアルゴリズムを提案する。シーン構成全体を特定するための簡潔で直感的な表現として描画を利用する。
論文参考訳（メタデータ） (Tue, 15 Jun 2021 09:38:09 GMT)
- フリーハンドで書いたスケッチをもとに検索を行うシステムの報告。このような検索は便利。
- https://github.com/AlexBlck/compsketch　でソース等が公開されている。