The Impact of Language Mixing on Bilingual LLM Reasoning
The Impact of Language Mixing on Bilingual LLM Reasoning [4.5] 中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて検討する。 単言語復号を強制すると 数学推論タスクの精度は 5.6 ポイント低下する 潜在的な言語スイッチが、推論に害を与えるかどうかを予測するために、軽量なプローブをトレーニングすることができる。 論文参考訳(メタデータ) (Mon, 21 Jul 2025 17:56:09 GMT)
LRMでよく見る推論過程で様々な言語が混じる問題について、「Discouraging this behavior in DeepSeek-R1 was found to degrade accuracy, suggesting that language mixing may benefit reasoning.」とのこと。また、「Altogether, these results suggest that language mixing is not a random artifact of multilingual training but a deliberate strategy that LLMs adopt to improve complex reasoning.」という記載もある。