- Improving Neural Machine Translation by Bidirectional Training [85.6]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 16 Sep 2021 07:58:33 GMT)- 「src→target」という構成を「src + target → target + src」に変更して事前学習を行う（BiT）だけで翻訳性能が向上するとの報告。事前学習結果は言語対が逆になっても（例えばEn→De、De→En双方で）使用可能とのこと。データ数に関わらずBLEUで1ポイント以上の効果があるデータセットもあって有用そう。