- Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos [44.4]
Video-MMMUは、ビデオから知識を取得し、活用するLMMの能力を評価するために設計されたベンチマークである。 Video-MMMUには、300のエキスパートレベルのビデオと、6つの分野にわたる900の人間による注釈付き質問が収集されている。 デルタ知識(Deltaknowledge)は、ビデオ視聴後の性能改善を定量化する。
論文 参考訳（メタデータ） (Thu, 23 Jan 2025 16:51:47 GMT) - VIDEOなMMMU、Claude 3.5 sonnetの性能が高い。
- プロジェクトサイトはVideo-MMMU