What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning 

  • What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning [24.4]
    大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことTLの性能はコンテキストにおけるより多くのデモで一貫して改善されることを示す。
    論文  参考訳（メタデータ）   (Tue, 16 May 2023 18:05:19 GMT)
  • in context learningをtask recognition (TR)、 task learning (TL)に分けて検証した論文。 タスクを知る動きとコンテキスト内デモでの学習は別物として扱えそうという結果で大変興味深い。
  • リポジトリはGitHub – princeton-nlp/WhatICLLearns: https://arxiv.org/abs/2305.09731

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です