普通に用いられているIn context learningだが、その動きに関する分析と検索併用に関するサーベイが出ていた。AI 事業者ガイドライン案（13gaidorain.pdf (cao.go.jp)）でコンテキスト内学習と呼ばれているもので、なんでこんなことができるのかの解析は進んできている（What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization – arXiv最新論文の紹介 (devneko.jp)、When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations – arXiv最新論文の紹介 (devneko.jp)）ものの。やっぱり不思議だなーと思う。
- In-Context Language Learning: Arhitectures and Algorithms [73.9]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (Tue, 23 Jan 2024 18:59:21 GMT) - 「this paper provides evidence supporting the hypothesis that real language models can in-context learn using known learning algorithms.」とのこと。
- 「Transformers significantly outperform neural sequence models with recurrent or convolutional representations on ICLL tasks.」とも書かれていて（ICLL＝ in-context language learning、未知の形式言語に対する推論でオンザフライで学習しないと対応できない）Transformerの後継を狙ったモデルはTransformerに匹敵できていない。
- In-context Learning with Retrieved Demonstrations for Language Models: A Survey [22.4]
インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
論文 参考訳（メタデータ） (Sun, 21 Jan 2024 23:34:42 GMT) - こちらは与える情報を得る手法を中心としたサーベイ
- 実用的に使うために参考になる情報