SCoTD: Symbolic Chain-of-Thought Distillation

  • Symbolic Chain-of-Thought Distillation: Small Models Can Also “Think” Step-by-Step [122.6]
    思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。 オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。 そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるSymbolic Chain-of-Thought Distillation (SCoTD)を紹介した。
    論文  参考訳（メタデータ）   (Sat, 24 Jun 2023 20:15:07 GMT)
  • 小規模なモデルでもChain of Thougthが有効であること、また、それを生かすために有効な蒸留方法Symbolic Chain-of-thought Distillation (SCoTD)の提案。タスクにもよるがベンチマーク結果からはかなり有効な手法に見える。
  • リポジトリはhttps://github.com/allenai/cot_distillationとのことだが、現時点では404

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です