- Think before you speak: Training Language Models With Pause Tokens [78.0]
言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
論文 参考訳（メタデータ） (Tue, 3 Oct 2023 17:32:41 GMT) - pause-inference (and pause-finetuning)として推論（ファインチューニング）時に<pause> tokenを導入、pause中は出力を抑制、抑制している分だけ（<pause> token分だけ）計算経路を増加、性能が向上とのこと。