日: 2022年5月11日

Polyglot Prompt：マルチリンガル、マルチタスクなプロンプト

  • Polyglot Prompt: Multilingual Multitask PrompTraining [35.7]
    異なる言語から異なるタスクを(タスク/言語固有のモジュールを使わずに)モノリシックなフレームワークでモデル化できるだろうか? 学習フレームワークであるPolyglot Promptを開発し、適切な多言語プロンプトエンジニアリングの後、異なる言語やタスクの統一的な意味空間を学習するためのプロンプト手法を導入する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Fri, 29 Apr 2022 17:40:50 GMT)
    • 英語を対象とすることが多いprompt系のモデルをマルチリンガルで、という報告。
    • Cross-lingual zero-shot transferが一定程度可能そうなのが興味深い。また、「(1) Could different languages benefit from each other by a monolithic framework?」「Yes」や「(2) Why does PolyPrompt work?」「The performance improvement of PolyPrompt mainly comes from the languages of non-Indo-European language families」という議論も面白い。日本語を扱う場合も重要だと思う。