タグ: In-context Learning

Ambiguity-Aware In-Context Learning with Large Language Models

  • Ambiguity-Aware In-Context Learning with Large Language Models [27.2]
    インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 意味的に類似したICLのデモンストレーションを選択するだけでなく、固有のラベルのあいまいさを解決するのに役立つものを選択することは有益である。
    論文  参考訳（メタデータ）   (Thu, 14 Sep 2023 17:48:34 GMT)
  • 通常、意味的に近いものを入れるIn-Context Learningを改善する報告。「Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example’s decision boundary, brings the most performance gain.」とのこと。
  • Inputデータとの類似性だけでなくLLMの知識の考慮がされる分高性能になるというのは「確かに」と思う。

CausalLM is not optimal for in-context learning

  • CausalLM is not optimal for in-context learning [21.6]
    最近の経験的証拠は、プレフィックス言語モデル(LM)を用いる場合、コンテクスト内学習に基づくトランスフォーマーがより優れていることを示している。 この結果は直感的であるが、理論的には理解されていない。 本研究では,あるパラメータ構成の下で,プレフィックスLMと因果LMの収束挙動を理論的に解析する。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 03:14:38 GMT)
  • in-context learningの理論的解析と実証実験、「In particular, the stationary points of prefixLM coincides with the optimal least square solution; while the ones of causalLM is equivalent to the weights of an online learning system, that is not guaranteed to converge to the optimal solution.」とのことで「Our experiments verify that causalLM consistently underperforms prefixLM in all settings.」という結論
  • LLM利用でICLはかなり有力＆causalLMの流行を考えると面白い結果。

XNLP: Structured Natural Language Processing 

  • XNLP: An Interactive Demonstration System for Universal Structured NLP [92.8]
    我々は,LLMを利用して汎用XNLPを実現する,高度なXNLPデモプラットフォームを提案する。 全体として、我々のシステムは、ユニバーサルXNLPモデリング、ハイパフォーマンス、解釈可能性、スケーラビリティ、対話性など、様々な面で進歩し、コミュニティ内で多様なXNLPタスクを探索するための統一されたプラットフォームを提供する。
    論文  参考訳（メタデータ）   (Thu, 3 Aug 2023 16:13:05 GMT)
  • テキストの意味構造や構文構造を分析するSyntactic Dependency Parsing、Information Extraction、Coreference Resolution、Opinion Extractionようなタスクをzero shot, weak supervisedな仕組みで解けるプラットフォームの提案。内部はLLM+In-Context Learningだが、Vicuna 13Bをbroad-cover structure-aware instruction tuning したモデル(Vicuna+StruIT)はChatGPTより優れているとのこと。オープンなLLMを使い方にフォーカスしてチューニングする方針は有力かもしれない。
  • デモサイトはXNLP (haofei.vip)

Clinical Note Generation from Doctor-Patient Conversations using Large Language Models

  • WangLab at MEDIQA-Chat 2023: Clinical Note Generation from Doctor-Patient Conversations using Large Language Models [2.4]
    我々はMEDIQA-Chat 2023の共有タスクを医師と患者との会話から自動的な臨床ノート作成のために提出した。 本稿では,共有タスクデータに事前学習言語モデル(PLM)を1つ,大言語モデル(LLM)を2つ導入し,その2つについて報告する。 専門家の人間の精査は、ICLベースのGPT-4によるアプローチによって生成されたメモが、人間によるメモと同じくらい頻繁に好まれていることを示している。
    論文  参考訳（メタデータ）   (Sat, 3 Jun 2023 17:56:29 GMT)
  • 患者との対話記録からの臨床ノート作成、コンペティションで行われたもののよう。GPT-4 + ICLがPLM + finetuneに勝っている点、GPT-4 + ICLが人が書いたGrund Truthと互角レベルで人に好まれる点など面白い結果となっている。
  • リポジトリはGitHub – bowang-lab/MEDIQA-Chat-2023: A repository for organizing our submission to the MEDIQA-Chat Tasks @ ACL-ClinicalNLP 2023

What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization

  • What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.3]
    本稿では,インテクスト学習(ICL)の総合的研究を行う。  (a)言語モデルで学習されるICL推定器の種類は? b) ICLを正確に評価するのに適切なパフォーマンス指標と、エラー率について。 (c) トランスフォーマーアーキテクチャはどのようにICLを実現するのか? 答えは a) iclはベイズモデル平均化アルゴリズムを暗黙的に実装していることを示す。 このベイズモデル平均化アルゴリズムは注意機構によっておよそパラメータ化される。 b) ICLのパフォーマンスをオンライン学習の観点から分析し, ICLの入力シーケンス長が$T$である場合に, regret O(1/T)を確立する。 (c) 注意される符号化ベイズモデル平均化アルゴリズムに加えて, 学習モデルと名目モデルとの間の総変動距離は, 近似誤差(1/\sqrt{n_{\mathrm{p}}t_{\mathrm{p}}})$, ここで $n_{\mathrm{p}}$ と $t_{\mathrm{p}}$ はそれぞれトークン列の数とプリトレーニング中の各シーケンスの長さで区切られている。
    論文  参考訳（メタデータ）   (Tue, 30 May 2023 21:23:47 GMT)
  • ICLの分析、本当なのかはちょっと疑問ではあるので証明を追ってみたいところ。

CoFe:

  • How Do In-Context Examples Affect Compositional Generalization? [86.6]
    本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
    論文  参考訳（メタデータ）   (Thu, 25 May 2023 02:34:40 GMT)
  • in context learningのテストスイートの提案、詳細な分析がなされており非常に参考になる。「Our systematic experiments indicate that in-context examples should be structurally similar to the test case, diverse from each other, and individually simple.」とあるのは直感的にもそうだとは思うが、それぞれの要素について検証がなされているのが凄い。
  • リポジトリはContextualSP/cofe at master · microsoft/ContextualSP · GitHub

What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning 

  • What In-Context Learning “Learns” In-Context: Disentangling Task Recognition and Task Learning [24.4]
    大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことTLの性能はコンテキストにおけるより多くのデモで一貫して改善されることを示す。
    論文  参考訳（メタデータ）   (Tue, 16 May 2023 18:05:19 GMT)
  • in context learningをtask recognition (TR)、 task learning (TL)に分けて検証した論文。 タスクを知る動きとコンテキスト内デモでの学習は別物として扱えそうという結果で大変興味深い。
  • リポジトリはGitHub – princeton-nlp/WhatICLLearns: https://arxiv.org/abs/2305.09731

OpenICL

  • OpenICL: An Open-Source Framework for In-context Learning [48.8]
    In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
    論文  参考訳（メタデータ）   (Mon, 6 Mar 2023 06:20:25 GMT)
  • OSS(Apache-2)のIn-context Learningフレームワーク
  • 様々なRetriever（コンテキスト内のサンプル取得）とInferencer（LMとのやり取りや最終的な回答、chain-of-thoughtやselection-inferenceにも対応）を選ぶことができる
  • リポジトリはGitHub – Shark-NLP/OpenICL: OpenICL is an open-source framework to facilitate research, development, and prototyping of in-context learning.

Larger language models do in-context learning differently

  • Larger language models do in-context learning differently [93.9]
    言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
    論文  参考訳（メタデータ）   (Tue, 7 Mar 2023 12:24:17 GMT)
  • モデルの大きさによってICLの効き方が異なるという論文 大きなモデルでは先行的に学んだ知識を上書きできるという事、小さなモデルではそれができないというのは非常に面白い。ICLが「ドメインを限定する」のか「内容を加味して判断している」のかがモデルの大きさによって違う？
  • 十分に大きなモデルでは任意のラベルマッピングを行う能力がある？というのは、本当に新たなことを学んでいけると解釈して良いのだろうか。
  • なんでこんなことができるんだろう・・・？