タグ: In-context Learning

Counterfactual reasoning: an analysis of in-context emergence

  • Counterfactual reasoning: an analysis of in-context emergence [49.6]
    大規模ニューラルネットワークモデル(LM)は、文脈内学習において顕著な性能を示す。 この研究は、言語モデルにおける文脈内対実的推論、すなわち仮説的シナリオの下での変化の結果を予測することを研究する。
    論文  参考訳（メタデータ）   (Thu, 05 Jun 2025 16:02:07 GMT)
  • 「we provide insights into how in-context counterfactual reasoning is equivalent to transformations on in-context observations (Lemma 1). 」、「 we empirically show that language models can perform in-context counterfactual reasoning」とのこと。

Putting It All into Context: Simplifying Agents with LCLMs 

  • Putting It All into Context: Simplifying Agents with LCLMs [36.6]
    足場やツールを含まないGemini-1.5-Proモデルでは,SWE-Bench-Verifiedでは38%を実現している。 Gemini-1.5-Proの非スキャフォールドアプローチは最も強力なエージェントアーキテクチャには及ばないが、同じ非スキャフォールドアプローチを使用するより有能なGemini-2.5-Proが直接50.8%の解率に達することを実証する。
    論文  参考訳（メタデータ）   (Mon, 12 May 2025 23:22:27 GMT)
  • ソフトウェア開発＆LLMの分野ではAgenticなアプローチが流行っているが「the core of our workflow is the use of LCLMs that receive the entire code repository and directly outputs the solution (DIRECTSOLVE), analogous to standard zero-shot prompting tasks where LMs have demonstrated strong performance.」とlong context対応モデルの性能を信じたアプローチが有効であるとの報告。「We show that LCLMs can drastically simplify agent design on software engineering tasks, outperforming more complex pipelines by 3 – 6%, without any scaffolding or tools.」とのこと。
  • RAG vs LCでもlong contextの有効性は知られていて、それとも整合的に見える。
    • （とはいえRAGが必要な部分はある）

$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  • $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge [6.1]
    我々は,複数のドメインにまたがる仮説的かつ妥当なニュースからなるデータセットである$textitNew News$を紹介した。 我々は,文脈を伴わないモデルから知識を抽出し,文脈を伴わないモデルの重みに組み込むための,セルフプレイデータ生成プロトコルのスイートを探索する。 以上の結果から,Sys2-FTの自己QAプロトコルは,モデルによるニュースの重み付け学習を大幅に改善することが示された。
    論文  参考訳（メタデータ）   (Sat, 03 May 2025 12:49:35 GMT)
  • ICLとFTのギャップに関する分析とSys2-FTという手法の提案。「Our results demonstrate that the self-QA protocol of Sys2-FT significantly improves models’ in-weight learning of the news.」とのこと。
  • ICLとFTの差異はとても興味深いし実用上も重要。

Revisiting In-Context Learning with Long Context Language Models 

  • Revisiting In-Context Learning with Long Context Language Models [22.9]
    In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。
    論文  参考訳（メタデータ）   (Sun, 22 Dec 2024 08:55:19 GMT)
  • 「we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window.」という報告、LCLM = Long Context Language Models。
  • LLMの高性能化もあって過去のテクニックの有効性が薄れているよう。この手の進化に対応するため、比較検証を正しく容易に行えるようにしておくのは重要。

Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

  • Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS [25.6]
    HiAR-ICLは特定の例から抽象的な思考パターンへとシフトする。 適切な思考カードと動的に一致する認知複雑性フレームワークを開発する。
    論文  参考訳（メタデータ）   (Wed, 27 Nov 2024 16:19:00 GMT)
  • 「(1) define atom reasoning actions, (2) construct thought cards via MCTS, (3) select reasoning patterns, and (4) solve and verify」からなるICLフレームワークの提案。(1)では「System Analysis (SA)」「One-Step Thought (OST)」「Chain-of-Thought (CoT)」「Divide and Conquer (DC)」「(a5) Self-Reflection and Refinement (SRR)」の5種類を定義。
  • 「HiAR-ICL, a High-level Automated Reasoning paradigm in ICL」という名称であるが、ICLというよりAgenticな動作に思える。もちろん性能は上がりそう。

Shortcut Learning in In-Context Learning: A Survey

  • Shortcut Learning in In-Context Learning: A Survey [17.2]
    ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて、単純で非破壊的な決定ルールを採用する現象を指す。 In-Context Learning(ICL)におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供する。
    論文  参考訳（メタデータ）   (Mon, 04 Nov 2024 12:13:04 GMT)
  • In-context learningにおけるショートカット学習のサーベイ。ニッチな分野のような気がしつつ、問題になることは多いので参考になる。

In-context learning and Occam’s razor 

  • In-context learning and Occam’s razor [12.6]
    我々はオッカムのカミソリと文脈内学習の関連を描いている。 特に,テキスト内学習者の訓練に使用される次点の予測損失は,事前符号化と呼ばれるデータ圧縮手法と直接的に等価であることを示す。 我々の理論と実証実験は、文脈内学習の規範的な説明を提供するだけでなく、現在の文脈内学習手法の欠点を解明する。
    論文  参考訳（メタデータ）   (Thu, 17 Oct 2024 23:37:34 GMT)
  • ICLの解析、MambaのようなSSMも扱われている。
  • リポジトリはGitHub – 3rdCore/PrequentialCode

LLMs Are In-Context Reinforcement Learners

  • LLMs Are In-Context Reinforcement Learners [30.2]
    大規模言語モデル(LLM)は、コンテキスト内教師あり学習(ICL)を通じて新しいタスクを学習することができる。 この研究は、この能力が文脈内強化学習(ICRL)にまで拡張されるかどうかを研究する。 本稿では、テスト時間計算の増加と計算バウンド近似により、この欠陥に対処するアルゴリズムを提案する。
    論文  参考訳（メタデータ）   (Mon, 07 Oct 2024 17:45:00 GMT)
  • 「ICRL is a natural combination of ICL and reinforcement learning (RL).Instead of constructing the LLM context from supervised input-output pairs, the LLM context is constructed using triplets consisting of input, model output prediction, and the corresponding rewards.」というスタイルのインコンテキスト強化学習の提案。ナイーブな実装がうまくいかないのが興味深い。「Its poor performance is due to its incapacity to explore the output space.」とのこと。
  • プロジェクトサイトはLLMs Are In-Context Reinforcement Learners (lil-lab.github.io)

A Survey on In-context Learning 

  • A Survey on In-context Learning [77.8]
    In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
    論文  参考訳（メタデータ）   (Fri, 27 Sep 2024 02:55:06 GMT)
  • In-context learningのサーベイ

The representation landscape of few-shot learning and fine-tuning in large language models

  • The representation landscape of few-shot learning and fine-tuning in large language models [43.8]
    In-context Learning (ICL) と supervised Fine-tuning (SFT) は、現代の大規模言語モデル (LLM) の性能向上のための2つの一般的な戦略である。 この2つの事例において,隠れた表現の確率的景観を解析した。 ICLとSFTは、どちらもネットワークの中央で急激な遷移を行う場合において、非常に異なる内部構造を生成する。
    論文  参考訳（メタデータ）   (Thu, 5 Sep 2024 16:15:12 GMT)
  • ICLとSFTの動作の差の分析、「we compare how LLMs solve the same question-answering task, finding that ICL and SFT create very different internal structures, in both cases undergoing a sharp transition in the middle of the network.」とのことで挙動がかなり異なるよう。