- Improving Neural Machine Translation by Denoising Training [96.0]
本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 20 Jan 2022 03:55:52 GMT)- シンプルなdenosingタスク（論文のappendixに入る程度のノイズ付加）を解き、初期値とすることでニューラル機械翻訳の性能が上がるという報告。
- BiT(Bidirectional Training): 機械翻訳用のシンプルな双方向事前学習 – arXiv最新論文の紹介 (devneko.jp)の著者によるもので、BiTは実際に効果があったので期待大。