コンテンツへスキップ
- Visual In-Context Prompting [100.9]
本稿では,オープンセットのセグメンテーションや検出といった視覚的タスクのためのユニバーサルな視覚的インコンテキストプロンプトフレームワークを提案する。 エンコーダ-デコーダアーキテクチャ上に構築し,ストロークやボックス,ポイントなど,さまざまなプロンプトをサポートする汎用的なプロンプトエンコーダを開発する。 広範にわたる調査の結果,提案した視覚的インコンテクストは,異常参照と汎用セグメンテーション機能を引き起こすことが示された。
論文 参考訳（メタデータ） (Wed, 22 Nov 2023 18:59:48 GMT)
- Vision領域でのIn-context promptingを実現するモデルの提案。対象タスクはreferring segmentation、generic segmentation tasksとのこと。（テキスト領域で想像されるものとは異なるような・・・きもしなくもない）
- リポジトリはGitHub – UX-Decoder/DINOv
- In-Context Pretraining: Language Modeling Beyond Document Boundaries [140.8]
In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。 本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。 より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
論文 参考訳（メタデータ） (Mon, 16 Oct 2023 17:57:12 GMT)
- 通常の事前学習ではランダムに文書をシャッフルしたデータを使用するが、同じコンテキストに同様の文書が入るよう調整して事前学習する手法の提案
- LLaMAアーキテクチャ、7Bまでのサイズで有効性を確認とのこと。（128 A100 GPUs で9日かかるとのことで検証もとても大変。。）
- In-Context Unlearning: Language Models as Few Shot Unlearners [31.4]
In-Context Unlearningは、モデルパラメータを更新することなく、コンテキスト内でインプットを提供する。 これらのコンテキストは、最先端の未学習手法と競合するパフォーマンスレベルを維持しながら、トレーニングセットから特定の情報を効果的に除去することを示します。
論文 参考訳（メタデータ） (Wed, 11 Oct 2023 15:19:31 GMT)
- In-Context でのUnlearning。 LiRA-Forgetという評価指標で有効性を確認とのことだが、これはunlearningと言えるのかはやや疑問
- Boosting In-Context Learning with Factual Knowledge [39.9]
In-Context Learning (ICL) over Large Language Model (LLMs) は、いくつかのトレーニング例を条件に、これまで見つからなかったタスクを解決することを目的としている。 本稿では、3つの中核面におけるICLの性能にfactual knowledgeが不可欠であることを実証する。 In-Context Tuning (KICT) フレームワークを導入し,ICLの性能向上を図る。
論文 参考訳（メタデータ） (Tue, 26 Sep 2023 09:06:39 GMT)
- ICLの性能をさらに向上させる新しいチューニングフレームワークの提案
- In context learningは強力であるので、このような研究の方向性も有望だと思う。
- Ambiguity-Aware In-Context Learning with Large Language Models [27.2]
インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 意味的に類似したICLのデモンストレーションを選択するだけでなく、固有のラベルのあいまいさを解決するのに役立つものを選択することは有益である。
論文 参考訳（メタデータ） (Thu, 14 Sep 2023 17:48:34 GMT)
- 通常、意味的に近いものを入れるIn-Context Learningを改善する報告。「Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example’s decision boundary, brings the most performance gain.」とのこと。
- Inputデータとの類似性だけでなくLLMの知識の考慮がされる分高性能になるというのは「確かに」と思う。
- CausalLM is not optimal for in-context learning [21.6]
最近の経験的証拠は、プレフィックス言語モデル(LM)を用いる場合、コンテクスト内学習に基づくトランスフォーマーがより優れていることを示している。 この結果は直感的であるが、理論的には理解されていない。 本研究では,あるパラメータ構成の下で,プレフィックスLMと因果LMの収束挙動を理論的に解析する。
論文 参考訳（メタデータ） (Mon, 14 Aug 2023 03:14:38 GMT)
- in-context learningの理論的解析と実証実験、「In particular, the stationary points of prefixLM coincides with the optimal least square solution; while the ones of causalLM is equivalent to the weights of an online learning system, that is not guaranteed to converge to the optimal solution.」とのことで「Our experiments verify that causalLM consistently underperforms prefixLM in all settings.」という結論
- LLM利用でICLはかなり有力＆causalLMの流行を考えると面白い結果。
- XNLP: An Interactive Demonstration System for Universal Structured NLP [92.8]
我々は,LLMを利用して汎用XNLPを実現する,高度なXNLPデモプラットフォームを提案する。 全体として、我々のシステムは、ユニバーサルXNLPモデリング、ハイパフォーマンス、解釈可能性、スケーラビリティ、対話性など、様々な面で進歩し、コミュニティ内で多様なXNLPタスクを探索するための統一されたプラットフォームを提供する。
論文 参考訳（メタデータ） (Thu, 3 Aug 2023 16:13:05 GMT)
- テキストの意味構造や構文構造を分析するSyntactic Dependency Parsing、Information Extraction、Coreference Resolution、Opinion Extractionようなタスクをzero shot, weak supervisedな仕組みで解けるプラットフォームの提案。内部はLLM+In-Context Learningだが、Vicuna 13Bをbroad-cover structure-aware instruction tuning したモデル(Vicuna+StruIT)はChatGPTより優れているとのこと。オープンなLLMを使い方にフォーカスしてチューニングする方針は有力かもしれない。
- デモサイトはXNLP (haofei.vip)
- What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.3]
本稿では,インテクスト学習(ICL)の総合的研究を行う。 (a)言語モデルで学習されるICL推定器の種類は? b) ICLを正確に評価するのに適切なパフォーマンス指標と、エラー率について。 (c) トランスフォーマーアーキテクチャはどのようにICLを実現するのか? 答えは a) iclはベイズモデル平均化アルゴリズムを暗黙的に実装していることを示す。 このベイズモデル平均化アルゴリズムは注意機構によっておよそパラメータ化される。 b) ICLのパフォーマンスをオンライン学習の観点から分析し, ICLの入力シーケンス長が$T$である場合に, regret O(1/T)を確立する。 (c) 注意される符号化ベイズモデル平均化アルゴリズムに加えて, 学習モデルと名目モデルとの間の総変動距離は, 近似誤差(1/\sqrt{n_{\mathrm{p}}t_{\mathrm{p}}})$, ここで $n_{\mathrm{p}}$ と $t_{\mathrm{p}}$ はそれぞれトークン列の数とプリトレーニング中の各シーケンスの長さで区切られている。
論文 参考訳（メタデータ） (Tue, 30 May 2023 21:23:47 GMT)
- ICLの分析、本当なのかはちょっと疑問ではあるので証明を追ってみたいところ。
- How Do In-Context Examples Affect Compositional Generalization? [86.6]
本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
論文 参考訳（メタデータ） (Thu, 25 May 2023 02:34:40 GMT)
- in context learningのテストスイートの提案、詳細な分析がなされており非常に参考になる。「Our systematic experiments indicate that in-context examples should be structurally similar to the test case, diverse from each other, and individually simple.」とあるのは直感的にもそうだとは思うが、それぞれの要素について検証がなされているのが凄い。
- リポジトリはContextualSP/cofe at master · microsoft/ContextualSP · GitHub