- CLIcK: A Benchmark Dataset of Cultural and Linguistic Intelligence in Korean [19.6]
韓国における1,995対のQAペアからなる文化・言語知能のベンチマークについて紹介する。 CLIcKは、公式の韓国の試験と教科書からデータを入手し、質問を言語と文化の2つの主要なカテゴリで11のカテゴリに分けている。 CLIcKを用いて、13の言語モデルを用いて、パフォーマンスを評価する。評価では、カテゴリ間でのパフォーマンスに関する洞察と、その理解に影響を与えるさまざまな要因を明らかにする。
論文 参考訳（メタデータ） (Mon, 11 Mar 2024 03:54:33 GMT) - 韓国の文化的・言語的理解を評価するデータセット、日本語版が必要そうに思う。
- リポジトリはrladmstn1714/CLIcK: CLIcK: Evaluation of Cultural and Linguistic Intelligence in Korean (github.com)