タグ: In-context Learning

$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  • $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge [6.1]
    我々は,複数のドメインにまたがる仮説的かつ妥当なニュースからなるデータセットである$textitNew News$を紹介した。 我々は,文脈を伴わないモデルから知識を抽出し,文脈を伴わないモデルの重みに組み込むための,セルフプレイデータ生成プロトコルのスイートを探索する。 以上の結果から,Sys2-FTの自己QAプロトコルは,モデルによるニュースの重み付け学習を大幅に改善することが示された。
    論文  参考訳（メタデータ）   (Sat, 03 May 2025 12:49:35 GMT)
  • ICLとFTのギャップに関する分析とSys2-FTという手法の提案。「Our results demonstrate that the self-QA protocol of Sys2-FT significantly improves models’ in-weight learning of the news.」とのこと。
  • ICLとFTの差異はとても興味深いし実用上も重要。

Revisiting In-Context Learning with Long Context Language Models 

  • Revisiting In-Context Learning with Long Context Language Models [22.9]
    In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。
    論文  参考訳（メタデータ）   (Sun, 22 Dec 2024 08:55:19 GMT)
  • 「we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window.」という報告、LCLM = Long Context Language Models。
  • LLMの高性能化もあって過去のテクニックの有効性が薄れているよう。この手の進化に対応するため、比較検証を正しく容易に行えるようにしておくのは重要。

Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

  • Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS [25.6]
    HiAR-ICLは特定の例から抽象的な思考パターンへとシフトする。 適切な思考カードと動的に一致する認知複雑性フレームワークを開発する。
    論文  参考訳（メタデータ）   (Wed, 27 Nov 2024 16:19:00 GMT)
  • 「(1) define atom reasoning actions, (2) construct thought cards via MCTS, (3) select reasoning patterns, and (4) solve and verify」からなるICLフレームワークの提案。(1)では「System Analysis (SA)」「One-Step Thought (OST)」「Chain-of-Thought (CoT)」「Divide and Conquer (DC)」「(a5) Self-Reflection and Refinement (SRR)」の5種類を定義。
  • 「HiAR-ICL, a High-level Automated Reasoning paradigm in ICL」という名称であるが、ICLというよりAgenticな動作に思える。もちろん性能は上がりそう。

Shortcut Learning in In-Context Learning: A Survey

  • Shortcut Learning in In-Context Learning: A Survey [17.2]
    ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて、単純で非破壊的な決定ルールを採用する現象を指す。 In-Context Learning(ICL)におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供する。
    論文  参考訳（メタデータ）   (Mon, 04 Nov 2024 12:13:04 GMT)
  • In-context learningにおけるショートカット学習のサーベイ。ニッチな分野のような気がしつつ、問題になることは多いので参考になる。

In-context learning and Occam’s razor 

  • In-context learning and Occam’s razor [12.6]
    我々はオッカムのカミソリと文脈内学習の関連を描いている。 特に,テキスト内学習者の訓練に使用される次点の予測損失は,事前符号化と呼ばれるデータ圧縮手法と直接的に等価であることを示す。 我々の理論と実証実験は、文脈内学習の規範的な説明を提供するだけでなく、現在の文脈内学習手法の欠点を解明する。
    論文  参考訳（メタデータ）   (Thu, 17 Oct 2024 23:37:34 GMT)
  • ICLの解析、MambaのようなSSMも扱われている。
  • リポジトリはGitHub – 3rdCore/PrequentialCode

LLMs Are In-Context Reinforcement Learners

  • LLMs Are In-Context Reinforcement Learners [30.2]
    大規模言語モデル(LLM)は、コンテキスト内教師あり学習(ICL)を通じて新しいタスクを学習することができる。 この研究は、この能力が文脈内強化学習(ICRL)にまで拡張されるかどうかを研究する。 本稿では、テスト時間計算の増加と計算バウンド近似により、この欠陥に対処するアルゴリズムを提案する。
    論文  参考訳（メタデータ）   (Mon, 07 Oct 2024 17:45:00 GMT)
  • 「ICRL is a natural combination of ICL and reinforcement learning (RL).Instead of constructing the LLM context from supervised input-output pairs, the LLM context is constructed using triplets consisting of input, model output prediction, and the corresponding rewards.」というスタイルのインコンテキスト強化学習の提案。ナイーブな実装がうまくいかないのが興味深い。「Its poor performance is due to its incapacity to explore the output space.」とのこと。
  • プロジェクトサイトはLLMs Are In-Context Reinforcement Learners (lil-lab.github.io)

A Survey on In-context Learning 

  • A Survey on In-context Learning [77.8]
    In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
    論文  参考訳（メタデータ）   (Fri, 27 Sep 2024 02:55:06 GMT)
  • In-context learningのサーベイ

The representation landscape of few-shot learning and fine-tuning in large language models

  • The representation landscape of few-shot learning and fine-tuning in large language models [43.8]
    In-context Learning (ICL) と supervised Fine-tuning (SFT) は、現代の大規模言語モデル (LLM) の性能向上のための2つの一般的な戦略である。 この2つの事例において,隠れた表現の確率的景観を解析した。 ICLとSFTは、どちらもネットワークの中央で急激な遷移を行う場合において、非常に異なる内部構造を生成する。
    論文  参考訳（メタデータ）   (Thu, 5 Sep 2024 16:15:12 GMT)
  • ICLとSFTの動作の差の分析、「we compare how LLMs solve the same question-answering task, finding that ICL and SFT create very different internal structures, in both cases undergoing a sharp transition in the middle of the network.」とのことで挙動がかなり異なるよう。

Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism

  • Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism [28.8]
    大規模言語モデル(LLM)は、テキスト内学習能力に優れる。 最近の研究は、ICLに関する2つの矛盾する見解を示している。 両ビューを体系的なフレームワークに統合する2次元コーディネートシステムを提供する。
    論文  参考訳（メタデータ）   (Wed, 24 Jul 2024 05:26:52 GMT)
  • ICLの重要な要素である「タスク認識」と「近い事例情報の供給」についてマトリクスで検証した論文。

Improving In-Context Learning with Prediction Feedback for Sentiment Analysis

  • Improving In-Context Learning with Prediction Feedback for Sentiment Analysis [45.5]
    大規模言語モデル(LLM)は、文脈内学習(ICL)パラダイムを通じて感情分析において有望な結果を得た。 人間のフィードバックによる理解の調整能力にインスパイアされた本論文は,事前の予測とフィードバックを取り入れたICLを強化する。 9つの感情分析データセットによる実験結果から,従来のICL法よりもフレームワークが優れていることが示され,平均F1改善率は5.95%となった。
    論文  参考訳（メタデータ）   (Wed, 05 Jun 2024 04:04:08 GMT)
  • 「(1) acquiring prior predictions of LLMs, (2) devising predictive feedback based on correctness, and (3) leveraging a feedbackdriven prompt to refine sentiment understanding.」と、実利用時に「予測結果へのFeedback付きのデータ」を入れICLを行うことで性能を改善。
  • リポジトリはGitHub – HITSZ-HLT/Feedback-ICL