Question Translation Training for Better Multilingual Reasoning
Question Translation Training for Better Multilingual Reasoning [113.5] 大規模言語モデルは推論タスクにおいて魅力的なパフォーマンスを示すが、英語以外の言語ではより悪いパフォーマンスを示す傾向がある。 典型的な解決策は、命令データを興味のあるすべての言語に翻訳し、結果の多言語データをトレーニングすることである。 質問のアライメントは、翻訳学習アプローチよりも一貫した改善をもたらすことを示す。 論文参考訳（メタデータ） (Mon, 15 Jan 2024 16:39:10 GMT)
多言語環境でLLMのパフォーマンスを上げるため単純に翻訳データを使うのではなく、Stage I: Question Alignment（質問を英語に翻訳するタスク）、Stage II: Response Alignment（英語または混合の質問回答ペアでのチューニング）の２ステージ構成を提案。「Question alignment stage enables LLM’s proficiency in English to be transferred to nonEnglish tasks.」とあって面白い。