- Training Verifiers to Solve Math Word Problems [12.3]
GSM8Kは8.5Kの高品質な言語学的多様性を持つ小学校数学の単語問題である。 最大のモデルでさえ高いテスト性能を達成できないことがわかった。 性能を向上させるため,モデル完了の正しさを判定するトレーニング検証器を提案する。
論文 参考訳（メタデータ） (Wed, 27 Oct 2021 04:49:45 GMT)- 自然言語処理ではまだ解くことが難しい、マルチホップな数学的推論が必要なデータセットの提案。巨大モデルでも解くのが難しいが、検証（Verification）を行うモデルを用いることで性能が向上（30倍のサイズのモデルに匹敵）したとのこと。
- 分野の得意不得意と解釈してよいのか、言語理解の有無と解釈してよいのか、いろいろと考えさせられる結果。
- リポジトリはhttps://github.com/openai/grade-school-math
- 自然言語処理ではまだ解くことが難しい、マルチホップな数学的推論が必要なデータセットの提案。巨大モデルでも解くのが難しいが、検証（Verification）を行うモデルを用いることで性能が向上（30倍のサイズのモデルに匹敵）したとのこと。