Elements of World Knowledge (EWOK): A cognition-inspired framework for evaluating basic world knowledge in language models [42.5] 本稿では,言語モデルにおける世界モデリングを評価するためのフレームワークであるElements of World Knowledge(EWOK)について述べる。 EWOKは、人間の世界モデリングに不可欠な複数の知識領域から特定の概念をターゲットにしている。 次に,世界11の知識領域をカバーする4,374項目のデータセットであるEWOK-CORE-1.0を紹介する。 論文参考訳（メタデータ） (Wed, 15 May 2024 17:19:42 GMT)
LLMの世界の知識（物理的なもの、空間的なもの、社会的なものなど様々なドメインが含まれる）を評価するためのベンチマーク。「Community Standard for Use of Evaluation Data」も面白い。