- Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.8]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文 参考訳（メタデータ） (Mon, 1 Nov 2021 20:08:05 GMT)- 事前学習モデルを用いたNLPのサーベイ、本文30ページ。「事前学習＋Fine-tuning」「Prompt-based learning 」「テキスト生成への帰着」の3つのパラダイムで整理している。加えてPLMによるデータ生成も扱われており非常に勉強になる。