- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.9]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (Wed, 28 Jul 2021 18:09:46 GMT)- GPT-2、GPT-3などで有名になり、Few-shotで重要なプロンプトに関するサーベイ。プロンプトの位置づけや概要から始まり、モデル、テクニック、応用など幅広い内容で非常に良い資料。TABLE 12 Timeline of prompt-based learningで2021.07.15 の FLEXまでカバーしているのも凄い。
- http://pretrain.nlpedia.ai/にサイトがある。