- On the Advance of Making Language Models Better Reasoners [49.2]
GPT-3 や PaLM のような大規模言語モデルは、数発の学習で顕著な性能を示した。 最近の進歩は、最終回答を生成する前に、言語モデルを意図的に導き、推論ステップの連鎖を生成する。 推論能力をさらに向上するための新しいアプローチであるDiVeRSeを提案する。
論文 参考訳（メタデータ） (Mon, 6 Jun 2022 03:38:36 GMT)- 多段階推論パスを用いてGSM8Kのようなタスクでの性能が改善するが、それをさらに推し進めた研究。多段階推論に加えて「言語モデルからより多様な推論経路を誘導する多様なプロンプトを活用」「複数の推論経路から最終的な答えを引き出す投票検証モデルの利用」「ステップ毎の正しさを利用した投票検証モデルの強化」を行っているとのこと。