月: 2023年7月

One-2-3-45 & DreamEditor

  • One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization [31.0]
    単一画像の3D再構成は、我々の自然界に関する広範な知識を必要とする重要な課題であるが、難しい課題である。 本研究では,任意の物体の1つの画像を入力として取り込み,360度3次元テクスチャメッシュを1回のフィードフォワードパスで生成する手法を提案する。
    論文  参考訳（メタデータ）   (Thu, 29 Jun 2023 13:28:16 GMT)
  • 1枚の画像からの3D再構成、 Text to 3D Meshにもほんの少し言及がある
  • プロジェクトサイトはOne-2-3-45

  • DreamEditor: Text-Driven 3D Scene Editing with Neural Fields [118.1]
    テキストプロンプトを用いてニューラルフィールドを編集できる新しいフレームワークを提案する。 DreamEditorは非常に現実的なテクスチャと幾何学を生成し、量的および質的な評価において、以前の作品を大きく上回っている。
    論文  参考訳（メタデータ）   (Thu, 29 Jun 2023 10:38:04 GMT)
  • こちらはテキストを用いた3Dモデルの編集

You Don’t Need Robust Machine Learning to Manage Adversarial Attack Risks

  • You Don’t Need Robust Machine Learning to Manage Adversarial Attack Risks [31.1]
    機械学習モデルを不規則な予測に変換する能力は驚くべきものだ。 現行の緩和には高いコストが伴い、同時にモデルの精度が低下する。 これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するか、という視点で行われます。
    論文  参考訳（メタデータ）   (Fri, 16 Jun 2023 16:32:27 GMT)
  • 衝撃的なタイトルだが、「Our work elucidates that not all situations require robust machine learning to defend against adversarial attacks, and that a larger risk assessment should be performed.」「In real-life deployments, the cost of adding robustness may exceed its benefits.」とのことで結論は納得のいくものとなっている。不必要に頑張る必要はない。

Infinigen 

  • Infinite Photorealistic Worlds using Procedural Generation [135.1]
    インフィニゲン(Infinigen)は、自然界のフォトリアリスティックな3Dシーンのプロシージャジェネレータである。 形状からテクスチャに至るまで、すべての資産はランダム化された数学的ルールによってゼロから生成される。
    論文  参考訳（メタデータ）   (Mon, 26 Jun 2023 17:20:37 GMT)
  • 美しい３Dシーンのジェネレータ。Deepでぽん的なアプローチではない。Real geometry、OSSと凄いソフトウェア。
  • プロジェクトサイトはHome | Infinigen、リポジトリはGitHub – princeton-vl/infinigen: Infinite Photorealistic Worlds using Procedural Generation

マルチモーダルな大規模言語モデルのサーベイ&チュートリアル

  • A Survey on Multimodal Large Language Models [56.8]
    マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために、脳として強力な大規模言語モデルを使用する。 MLLMの驚くべき創発的能力、例えば画像に基づくストーリーの作成やOCRのない数学推論は、伝統的な手法ではまれである。
    論文  参考訳（メタデータ）   (Fri, 23 Jun 2023 15:21:52 GMT)
  • マルチモーダルな大規模言語モデルのサーベイ。Multimodal Instruction Tuning (MIT)、Multimodal In-Context Learning (M-ICL)、 Multimodal Chain-of-Thought (M-CoT)、LLM-Aided Visual Reasoning (LAVR)のカテゴリで整理。LLMを中心に様々なトライがされていることが分かる。
  • リポジトリはGitHub – BradyFU/Awesome-Multimodal-Large-Language-Models: :sparkles::sparkles:Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.で、この論文リストも相当価値が高い。
  • Large Multimodal Models: Notes on CVPR 2023 Tutorial [29.8]
    このチュートリアルノートは、CVPR 2023 tutorial on recent Advances in Vision Foundation Models’ の一部である。 視覚・言語モデリングのための最近のGPTのような大規模モデルについて,まずその背景を紹介する。 前提条件として,大規模言語モデルにおけるインストラクションチューニングの基礎について述べる。 最後に、オープンソースリソースを用いたマルチモーダルGPT-4のようなモデルの最小限のプロトタイプを構築する方法について説明する。
    論文  参考訳（メタデータ）   (Mon, 26 Jun 2023 17:59:31 GMT)
  • CVPRのマルチモーダルモデルのチュートリアル
  • スライド：https://tinyurl.com/5c2c2mtm、動画[CVPR2023 Tutorial Talk] Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4 – YouTubeなどとても有用

ERNIE 3.5と XGen

Baiduから中国語の能力ではGPT-4を超えるというERNIE 3.5が発表された（Baidu Research）、ベンチマーク結果は独家：百度文心大模型3.5已内测应用，实测得分超ChatGPT (qq.com)で英語でもChatGPT(GPT-3.5)と競合する性能、中国語ではGPT-4を超える性能とのこと。

SaleseforceはXGenというオープンなLLMを発表（Long Sequence Modeling with XGen: A 7B LLM Trained on 8K Input Sequence Length (salesforceairesearch.com)）コンテキストが長く、オープンなLLMの中では優れた性能のよう。日本語に対応していそうな点も魅力的。リポジトリはGitHub – salesforce/xgen: Salesforce open-source LLMs with 8k sequence length.、モデルはSalesforce/xgen-7b-8k-base · Hugging Face

LLMの開発競争は続いている。モデルをオープンにする企業が多いのは非常にありがたい。

SearChain: Search-in-the-Chainのリポジトリ