Revisiting In-Context Learning with Long Context Language Models
Revisiting In-Context Learning with Long Context Language Models [22.9] In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。 論文参考訳（メタデータ） (Sun, 22 Dec 2024 08:55:19 GMT)
「we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window.」という報告、LCLM = Long Context Language Models。