- CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark [144.1]
汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。 汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。 以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
論文 参考訳（メタデータ） (Mon, 27 Dec 2021 11:08:58 GMT)- 自然言語タスクが幅広く扱われたベンチマークで、階層別に整理されておりリーダーボードが存在。
- 日本語版が欲しい・・・動きはあるようなので、このような統一的なものが作られることを期待
- プロジェクトサイトは智源指数 (baai.ac.cn)
- 自然言語タスクが幅広く扱われたベンチマークで、階層別に整理されておりリーダーボードが存在。