In-context Learning – ページ 3 – arXiv最新論文の紹介

What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning

What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning [24.4]
大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことTLの性能はコンテキストにおけるより多くのデモで一貫して改善されることを示す。
論文参考訳（メタデータ） (Tue, 16 May 2023 18:05:19 GMT)
in context learningをtask recognition (TR)、 task learning (TL)に分けて検証した論文。タスクを知る動きとコンテキスト内デモでの学習は別物として扱えそうという結果で大変興味深い。
リポジトリはGitHub – princeton-nlp/WhatICLLearns: https://arxiv.org/abs/2305.09731

OpenICL: An Open-Source Framework for In-context Learning [48.8]
In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
論文参考訳（メタデータ） (Mon, 6 Mar 2023 06:20:25 GMT)
OSS(Apache-2)のIn-context Learningフレームワーク
様々なRetriever（コンテキスト内のサンプル取得）とInferencer（LMとのやり取りや最終的な回答、chain-of-thoughtやselection-inferenceにも対応）を選ぶことができる
リポジトリはGitHub – Shark-NLP/OpenICL: OpenICL is an open-source framework to facilitate research, development, and prototyping of in-context learning.

Larger language models do in-context learning differently [93.9]
言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
論文参考訳（メタデータ） (Tue, 7 Mar 2023 12:24:17 GMT)
モデルの大きさによってICLの効き方が異なるという論文大きなモデルでは先行的に学んだ知識を上書きできるという事、小さなモデルではそれができないというのは非常に面白い。ICLが「ドメインを限定する」のか「内容を加味して判断している」のかがモデルの大きさによって違う？
十分に大きなモデルでは任意のラベルマッピングを行う能力がある？というのは、本当に新たなことを学んでいけると解釈して良いのだろうか。
なんでこんなことができるんだろう・・・？