タグ: 長文

A Controlled Study on Long Context Extension and Generalization in LLMs

  • A Controlled Study on Long Context Extension and Generalization in LLMs [85.5]
    広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
    論文  参考訳（メタデータ）   (Wed, 18 Sep 2024 17:53:17 GMT)
  • 長文の取り扱いに関する手法の評価、「Our study underscores the role of perplexity as a crucial, performance indicator at length and highlights the trade-offs inherent in different attention mechanisms.」
  • リポジトリはGitHub – Leooyii/LCEG: Long Context Extension and Generalization in LLMs

What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices

  • What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.7]
    拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
    論文  参考訳（メタデータ）   (Tue, 03 Sep 2024 13:30:00 GMT)
  • Multi-Agent Interactive Multi-hop Generation (MIMG) frameworkによるマルチホップなデータ合成とそのデータの有効性検証。さまざまな研究でAgenticな動作によるデータ合成は有効であることが知られていて、この分野のベストプラクティスとしても有効。「a quality verification agent, a single-hop question generation agent, a multiple question sampling strategy, and a multi-hop question merger agent」と多数のエージェントが協調。
  • リポジトリはGitHub – WowCZ/LongMIT: LongMIT: Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets

MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations

  • MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.1]
    MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。 130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。 14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
    論文  参考訳（メタデータ）   (Mon, 01 Jul 2024 17:59:26 GMT)
  • マルチモーダルかつ長文のベンチマーク。GPT-4oの優秀さが目立ち、OCR＋LLMを超えている。
  • リポジトリはMMLongBench-Doc (mayubo2333.github.io)

PINE : Position-INvariant inferencE

  • Eliminating Position Bias of Language Models: A Mechanistic Approach [119.3]
    位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 因果的注意は一般的に、モデルが遠方のコンテンツを好むのに対して、RoPEのような相対的な位置エンコーディングは近くのものを好む。 本研究では,異なる入力セグメント順序(例えばLM-as-a-judgeのオプション,QAの検索文書)によって生じる位置バイアスを,TRAINING-FREE ZERO-SHOT方式で推定する。
    論文  参考訳（メタデータ）   (Mon, 01 Jul 2024 09:06:57 GMT)
  • 位置バイアスを除去する手法の提案。アテンションスコアの類似性を使って位置情報を割り当てなおすアプローチのよう（？）、トレーニングフリーだが計算コストは高めに思える。
  • 位置バイアスは「Further, our empirical study on object detection reveals that position bias is also present in vision-language models (VLMs).」とMLLMでも影響ありとのこと。
  • リポジトリはGitHub – wzq016/PINE: Offcial Repo of Paper “Eliminating Position Bias of Language Models: A Mechanistic Approach””

Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

  • Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems [124.8]
    我々は、文書のHaystackを合成する手順を設計し、特定のテキストが文書間で繰り返されることを保証します。 すると、”Summary of a Haystack”(SummHay)タスクは、Haystackを処理し、クエリ、関連する洞察を特定し、ソースドキュメントを正確に引用する要約を生成するシステムを必要とする。
    論文  参考訳（メタデータ）   (Mon, 01 Jul 2024 15:23:42 GMT)
  • 長文・大量の文書を要約できるかに関する（合成データによる）SummHay ベンチマークを構築、様々なLLM及びRAGを比較した論文。「achieving strong coverage of key insights in a large corpus of text does not require retrieval, given a sufficiently capable long-context LLM.」、「for use-cases where citation quality is important, optimizing retrieval is paramount: it removes irrelevant documents from the summarizer’s context, narrowing and focusing options for citation.」とユースケースによってRAGの有効性が変わるよう。Gemini 1.5 ProはRAGなしでも相当有効に機能しているようなことも興味深い。Retrieveの戦略も複数比較されており参考になる。
  • リポジトリはGitHub – salesforce/summary-of-a-haystack: Codebase accompanying the Summary of a Haystack paper.

UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs

  • UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.1]
    UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
    論文  参考訳（メタデータ）   (Wed, 26 Jun 2024 08:44:36 GMT)
  • ベースとなるLLMでコンテンツを圧縮、圧縮したコンテンツを使ってデコードすることで長文を取り扱うアプローチの提案。（前半と後半のつなぎに通常のテキストを使う例はよく見るのでモデル内で完結させられても不思議はないが、ちゃんと動作することに驚きがある）
  • リポジトリはGitHub – wenhaoli-xmu/UIO-LLMs: Official implementation of UIO-LLMs

InfLLM

  • InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory [99.2]
    InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 本稿では,LLMのストリーミング長列処理能力を明らかにするために,トレーニング不要なメモリベースのInfLLMを提案する。
    論文  参考訳（メタデータ）   (Wed, 7 Feb 2024 06:50:42 GMT)
  • 長文に対応するための構造をもったLLM、1024Kトークでも有効とのこと

SORAとGemini-1.5

先週話題となったニュースにテキストからのビデオ生成モデルであるOpenAIのSORA、極めて長いテキストを扱えるGoogleのGemini 1.5がある。両発表とも技術が一段進化した感がある。

Reka（Reka Flash: An Efficient and Capable Multimodal Language Model – Reka AI）のようなチャレンジャーも出てきていてニュースが多い。

  • Gemini 1.5: Unlocking multimodalunderstanding across millions of tokens ofcontext
    Gemini 1.5 Proは、きめ細かい情報をリコールして推論できる計算効率の高いマルチモーダル混合モデルである。モダリティ間の長いコンテキスト検索タスクのほぼ完璧なリコールを実現する。Gemini 1.0 Ultraの最先端のパフォーマンスを、幅広いベンチマークで比較または上回る。
  • 長文を扱える能力が高くTF-IDF での検索＋re rankを行うパイプライン構成をとった場合を大きく超える性能。そして、旧Twitterでも紹介されていた「With only instructional materials (500 pages of linguistic documentation, a dictionary, and ≈ 400 parallel sentences) all provided in context, Gemini 1.5 Pro is capable of learning to translate from English to Kalamang, a language spoken by fewer than 200 speakers in western New Guinea in the east of Indonesian Papua2, and therefore almost no online presence.」が衝撃的。
  • gemini_v1_5_report.pdf (storage.googleapis.com)

ReadAgent 

  • A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts [38.3]
    本実験では,有効文脈長を最大20倍に向上させるエージェントシステムであるReadAgentを提案する。 人間が長い文書を対話的に読む方法に触発され、簡単なプロンプトシステムとしてReadAgentを実装した。 本稿では,検索手法を用いてベースラインに対するReadAgentの評価を行い,元の長コンテキストを用いて,gistメモリを用いて評価する。
    論文  参考訳（メタデータ）   (Thu, 15 Feb 2024 05:40:21 GMT)
  • 人が長文を読むように一定チャンクごとに要点を保持するGistメモリを使用する方法を提案。ベンチマークで効果を確認とのこと。（BM25って結構優秀だなと別のところも気になった。）
  • リポジトリはA Human-Inspired Reading Agent with Gist Memory of Very Long Contexts (read-agent.github.io)

Data Engineering for Scaling Language Models to 128K Context

  • Data Engineering for Scaling Language Models to 128K Context [98.4]
    本研究では,言語モデルの文脈長を128Kまで拡張するための継続事前学習法について検討する。 長いコンテキストモデリング、特にthe ability to use information at any input locations は、主に大規模事前トレーニングによって既に獲得されている機能であり、この能力は、適切なデータ混合上での軽量な連続的事前トレーニングを通じて、トレーニング中(例えば、4kから128k)において、かなり長いコンテキストに拡張できると仮定する。 我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。
    論文  参考訳（メタデータ）   (Thu, 15 Feb 2024 18:19:16 GMT)
  • 長文対応のためのレシピ。「the ability to utilize information at arbitrary locations within the 128K input is already mostly acquired by large-scale pretraining, even for models pretrained on substantially shorter 4K context.」というのは興味深い。
  • リポジトリはFranxYao/Long-Context-Data-Engineering: Implementation of paper Data Engineering for Scaling Language Models to 128K Context (github.com)