タグ: Out-of-Distribution

How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation

  • How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation [90.9]
    GPT-4Vは最も先進的な多モード基盤モデルとして機能する。 本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
    論文  参考訳（メタデータ）   (Wed, 13 Dec 2023 13:00:57 GMT)
  • GPT-4Vの環境変化に対する能力を検証した論文、CLIPやLLaVAとも比較。「Our findings reveal that while GPT-4V demonstrates notable adaptability and zero-shot generalization capabilities, its performance varies significantly across different scenarios of distribution shifts.」「our journey toward creating truly robust and versatile AI foundation models is ongoing」との結論。
  • リポジトリはGitHub – jameszhou-gl/gpt-4v-distribution-shift: Code for “How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation”

OpenOOD

  • OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection [81.3]
    アウト・オブ・ディストリビューション(OOD)検出は、オープンワールド・インテリジェントシステムの信頼性の高い運用に不可欠である。 本稿では,OOD検出手法の精度,標準化,ユーザフレンドリな評価を保証したOpenOOD v1.5を提案する。
    論文  参考訳（メタデータ）   (Sat, 17 Jun 2023 01:14:56 GMT)
  • Out of Distribution(OOD)検出のためのベンチマーク、リポジトリにある手法やタスク、データの整理が非常にわかりやすい
  • プロジェクトサイトはGitHub – Jingkang50/OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

A Survey on Out-of-Distribution Detection in NLP

  • A Survey on Out-of-Distribution Detection in NLP [115.5]
    現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
    論文  参考訳（メタデータ）   (Fri, 5 May 2023 01:38:49 GMT)
  • NLPにおけるOOD検出のサーベイ。ざっくりと知るには良い内容。
  • 自然言語処理なAIをデプロイするときには欲しくなり、LLM時代に重要性がさらに増す分野な予感。

Out-of-Distribution Dataの価値

  • The Value of Out-of-Distribution Data [28.9]
    実際のデータセットは、アウト・オブ・ディストリビューション(OOD)データを含むことができる。 このような問題に対する反直観的な現象を実証する。 いずれのサンプルがOODであるかを知ると、重み付けされた目的を用いることで、一般化誤差が単調に減少することを示す。
    論文  参考訳（メタデータ）   (Tue, 23 Aug 2022 13:41:01 GMT)
    • 直感的にはOut-of-Distributionなデータは汎化のために有効であるが一定以上あると有害になりうる。その関係を調べた論文。
    • Out-of-Distributionなデータの認識ができれば適切な学習が可能という（直感に反しない）結果
      • すぐに使えるわけではない（実運用では未知な情報があるという現実と論文における各種定義の対比が必要）とはいえ、この手の研究は面白い

Out-of-Distribution検出のサーベイ

  • Generalized Out-of-Distribution Detection: A Survey [25.8]
    アウト・オブ・ディストリビューション(OOD)検出は、機械学習システムの信頼性と安全性を確保するために重要である。 まず,先述した5つの問題を含む一般OOD検出という汎用フレームワークを提案する。 私たちのフレームワークでは、これらの5つの問題を特別なケースやサブタスクと見なすことができ、区別しやすくなります。
    論文  参考訳（メタデータ）   (Thu, 21 Oct 2021 17:59:41 GMT)
    • Out-of-Distribution検出は実用上重要だがanomaly detection (AD), novelty detection (ND), open set recognition (OSR), outlier detection (OD),これらを含む一般的なOD検出など様々なタスクがある。OOD検出の情報を整理するのに非常に良い資料。本文は14ページとコンパクトだが、引用数315と広範囲。

Out-of-Distribution に関するサーベイ

  • Towards Out-Of-Distribution Generalization: A Survey [30.7]
    古典的な機械学習手法は、トレーニングデータとテストデータが独立して同じ分散であるというi.i.d.の仮定に基づいて構築されている。 実際のシナリオでは、i.i.d.の仮定はほとんど満たされず、分散シフトの下で古典的な機械学習アルゴリズムのパフォーマンスが急落する。 本論文は,OOD一般化問題を体系的かつ包括的に議論する最初の試みである。
    論文  参考訳（メタデータ）   (Tue, 31 Aug 2021 05:28:42 GMT)
    • 機械学習の社会実装で避けては通れない Out-Of-Distribution問題のサーベイ。問題の定義、対応手法（およびその関係性）、データセット、評価指標にわたる広範な内容だが16ページとコンパクト。研究概要を知るために良い内容だと思う。