- GRIT: General Robust Image Task Benchmark [32.6]
本稿では,GRIT(General Robust Image Task)ベンチマークを紹介する。 GRITは、様々な画像予測タスク、概念、データソースにわたるビジョンシステムの性能、堅牢性、キャリブレーションを評価する。 ビジョンモデルによって学習されたスキルや概念を徹底的に評価するための統一プラットフォームを提供することにより、GRITが高性能で堅牢な汎用的なビジョンシステムの開発を促進することを期待する。
論文 参考訳（メタデータ） (Thu, 28 Apr 2022 17:13:23 GMT)- 画像自体の摂動や予測対象の分布が変化した状況下などでモデルが動作するかを検証可能なベンチマーク。 Categorization, Localization, VQA, Referring Expression Segmentation, Pose Keypoint, Surface Normalsの7タスクが対象。
- リポジトリはGitHub – allenai/grit_official: Official repository for the General Robust Image Task (GRIT) Benchmark、Submissions — GRIT Ablation Restricted Leaderboard. – Leaderboards by Allen AIにリーダーボードが存在。