コンテンツへスキップ
- Bidirectional Language Models Are Also Few-shot Learners [54.4]
SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
論文 参考訳（メタデータ） (Thu, 29 Sep 2022 01:35:57 GMT)- Promptを用いるモデルのほとんどが単方向モデルだが、双方向モデルでもpromptを実現するフレームワークを提案、少ないパラメータでzero/few shotでの優れた性能を確認とのこと。
- 面白い結果である一方で（論文でも触れられている通り）計算コストが凄そう…
- 双方向だと穴埋めがベースなのでしょうがないとも思いつつ、パラメータが少ないけど計算量が莫大って本当に少ないパラメータで済んでいるのだろうか…？
- Visual Prompting via Image Inpainting [105.0]
そこで本研究では,NLPにインスパイアされた新しいタスクの入力出力画像例と新しい入力画像の視覚的プロンプトについて検討する。 事前学習したモデルに視覚的プロンプトを適用し、様々なダウンストリームイメージ・ツー・イメージタスクで結果を示す。
論文 参考訳（メタデータ） (Thu, 1 Sep 2022 17:59:33 GMT)
- Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.3]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳（メタデータ） (Wed, 23 Feb 2022 11:57:52 GMT)- template towerとcontext towerを分けmultilingual PLMの下層レイヤーで初期化、それを融合するtowerは同上層レイヤーで初期化、label wordを言語に依存しない形で初期化するアプローチとのこと。
- なぜこれでうまくいくのか納得しかねるが、結果は有望に見える。
- コード、データともに公開予定の事だが、現状ではリンクが見つからなかった。
- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.9]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (Wed, 28 Jul 2021 18:09:46 GMT)- GPT-2、GPT-3などで有名になり、Few-shotで重要なプロンプトに関するサーベイ。プロンプトの位置づけや概要から始まり、モデル、テクニック、応用など幅広い内容で非常に良い資料。TABLE 12 Timeline of prompt-based learningで2021.07.15 の FLEXまでカバーしているのも凄い。