REINA(REtrieving from the traINing datA): 学習データからの検索がモデル性能を改善

  • Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.9]
    検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
    論文  参考訳（メタデータ）   (Wed, 16 Mar 2022 17:37:27 GMT)
    • 学習データを対象に検索的手法を用いることで性能が向上するとの報告（3ページの図が分かりやすい）。要約タスクでREINA+BART-baseがBART-largeに匹敵とのこと。非常にパラメータ数の多いモデルであっても学習データを完全に覚えることはできないので、リマインド的に検索結果をつなげると性能が向上するのでは？というのが面白い。
      • とはいえ（特に機械翻訳は）学習したドメインにover fittingしそうな予感がする。それはそれで使いどころはありそうではあるが。。。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です