日: 2022年9月9日

A Compact Pretraining Approach for Neural Language Models

  • A Compact Pretraining Approach for Neural Language Models [21.8]
    事前学習したNLMは、データのコンパクトなサブセットから、ドメイン内の情報をより効率的に、より高速に学習できることを示す。 抽象要約と抽出キーワードを組み合わせた非構造化データから,これらのコンパクトな部分集合を構築する。 我々の戦略は、バニラ予習に比べて、予習時間を最大5倍削減します。
    論文  参考訳（メタデータ）   (Mon, 29 Aug 2022 00:54:42 GMT)
    • 要約結果＆重要なキーワードの組み合わせにより全データ＆ランダムマスクな方針よりも高速に学習（ターゲットドメインへの適合）ができるとの報告
      • ドメインを合わせるために重要な部分のみを使うというのは直感的には良さそうな方針に思えるがBART要約 & KeyBERTで作ってそうなるのかはどうなんだろう。実験結果ではランダムマスクに勝っているのでうまく動いているっぽいが。。。

Efficient Methods for Natural Language Processing: A Survey

  • Efficient Methods for Natural Language Processing: A Survey [48.1]
    結果を改善するためにスケールのみを使用するということは、リソース消費もスケールすることを意味します。 本研究は,NLPにおけるこれらの効率性における方法と知見を関連づけ,合成するものである。
    論文  参考訳（メタデータ）   (Wed, 31 Aug 2022 20:32:35 GMT)
    • 自然言語処理の効率化について、データ、モデル設計、学習、推論・圧縮の面でーサーベイした論文。