コンテンツへスキップ
- GAIA: a benchmark for General AI Assistants [31.7]
一般AIアシスタントのベンチマークであるGAIAを紹介します。 GAIAは、推論、マルチモーダリティハンドリング、Webブラウジング、一般的なツール使用の習熟度といった基本的な能力を必要とする現実世界の質問を提案する。 GAIAの質問は、人間にとって概念的には単純だが、ほとんどの高度なAIでは困難である。
論文 参考訳（メタデータ） (Tue, 21 Nov 2023 20:34:47 GMT)
- AIアシスタントのためのベンチマーク、人が92%正解できる一方でツールのアシストがあってもGPT-4の正解率はレベル1でも30%程度と非常に難しく、人間とAIの差が大きく出るタスクになっている。
- レベル1では5step程度の推論、レベル2では5-10ステップの推論＋ツールの利用、レベル3では長いシーケンスの推論が必要とのこと。gaia-benchmark/GAIA · Datasets at Hugging Faceでサンプルがみられる。レベル3は検索しまくらないと解けなさそう。。
- リポジトリはgaia-benchmark (GAIA) (huggingface.co)