コンテンツへスキップ
- Are All the Datasets in Benchmark Necessary? A Pilot Study of Dataset Evaluation for Text Classification [39.0]
本稿では,ベンチマーク中のデータセットがすべて必要かどうかについて検討する。 9つのデータセットと36のシステムでの実験では、いくつかの既存のベンチマークデータセットはトップスコアシステムの識別にはほとんど寄与していない。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 4 May 2022 15:33:00 GMT)- データセットによってモデルの識別能力に差があり、いくつかのデータセットは能力の高いモデル識別に寄与していないとの報告。
- 感覚的には自明であり「難しいデータセット」と呼んでいたものはあったが、改めて整理される重要な特性であることが分かる。
- Flamingo: a Visual Language Model for Few-Shot Learning [95.9]
この機能を備えたビジュアル言語モデル(VLM)のファミリーであるFlamingoを紹介します。 柔軟性のおかげで、Flamingoモデルは大規模なマルチモーダルWebコーパスでトレーニングできる。 一つのFlamingoモデルが、数ショットの学習で新しい最先端の技術を実現できることを実証する。
論文 参考訳（メタデータ） (Fri, 29 Apr 2022 16:29:01 GMT)- DeepMindの大規模VLM。下記16タスク全てでfew-shotでのSoTA、および6つのタスクでfine tuning以上の結果を主張。
- NextQA
- iVQA
- Flick30K
- STAR
- MSVDQA
- OKVQA
- HatefulMemes
- VizWiz
- VATEX
- VQAv2
- COCO
- VisDial
- TextVQA
- MSRVTTQA
- YouCook2
- RareAct ※fine tuningの結果が得られていないため論文中では省略とのこと