コンテンツへスキップ
- What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning [24.4]
大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことTLの性能はコンテキストにおけるより多くのデモで一貫して改善されることを示す。
論文 参考訳(メタデータ) (Tue, 16 May 2023 18:05:19 GMT)
- in context learningをtask recognition (TR)、 task learning (TL)に分けて検証した論文。 タスクを知る動きとコンテキスト内デモでの学習は別物として扱えそうという結果で大変興味深い。
- リポジトリはGitHub – princeton-nlp/WhatICLLearns: https://arxiv.org/abs/2305.09731
- Larger language models do in-context learning differently [93.9]
言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
論文 参考訳(メタデータ) (Tue, 7 Mar 2023 12:24:17 GMT)
- モデルの大きさによってICLの効き方が異なるという論文 大きなモデルでは先行的に学んだ知識を上書きできるという事、小さなモデルではそれができないというのは非常に面白い。ICLが「ドメインを限定する」のか「内容を加味して判断している」のかがモデルの大きさによって違う?
- 十分に大きなモデルでは任意のラベルマッピングを行う能力がある?というのは、本当に新たなことを学んでいけると解釈して良いのだろうか。
- なんでこんなことができるんだろう・・・?