Cross-lingual zero-shot transferが一定程度可能そうなのが興味深い。また、「(1) Could different languages benefit from each other by a monolithic framework?」「Yes」や「(2) Why does PolyPrompt work?」「The performance improvement of PolyPrompt mainly comes from the languages of non-Indo-European language families」という議論も面白い。日本語を扱う場合も重要だと思う。
Can language models learn from explanations in context? [21.7] 大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。 論文参考訳(メタデータ) (Tue, 5 Apr 2022 16:33:44 GMT)
Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.3] 我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。 論文参考訳(メタデータ) (Wed, 23 Feb 2022 11:57:52 GMT)
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners [23.2] 本研究は,differiAble pRompT (DART) という新規で効率的なアプローチを提案する。 小さな言語モデルを、プロンプトエンジニアリングなしで、より優れたfew-shotの学習者に変換することができる。 標準NLPタスクの包括的な評価は、提案手法がより優れたFewショット性能を実現することを示す。 論文参考訳(メタデータ) (Mon, 30 Aug 2021 12:29:25 GMT)
言語モデルに対してfine-tuningではなくfew-shotのアプローチを取り入れられるようにして良い性能を出したとの報告。(プロンプトの)テンプレートTokenとラベルToken相当のパラメータを連続空間で最適化することが特徴とのこと。入力側を連続空間で最適化して良いプロンプト(相当の入力)を探るアプローチ(と思われる)。「the pseudo tokens in the prompt template must be co-dependent with each other」とある通り単純にやってもうまくいかなさそうな気がするが、提案されているTraining Objectivesが良く機能しているよう。