タグ: LLM

先週話題となったニュースにテキストからのビデオ生成モデルであるOpenAIのSORA、極めて長いテキストを扱えるGoogleのGemini 1.5がある。両発表とも技術が一段進化した感がある。

Reka（Reka Flash: An Efficient and Capable Multimodal Language Model – Reka AI）のようなチャレンジャーも出てきていてニュースが多い。

• Video generation models as world simulators
  私たちはAIに、動作中の物理世界を理解し、シミュレートするように教えています。ビデオと画像の潜在コード上の時空間パッチを扱うトランスフォーマーアーキテクチャを活用しています。Soraは、視覚的品質とユーザのプロンプトへの固執を維持しながら、最大1分間のビデオを生成することができる。
• Sora (openai.com)
• Video generation models as world simulators (openai.com)
• 既存研究（例えばLumiere – arXiv最新論文の紹介 (devneko.jp)、Lumiere (lumiere-video.github.io)やMagicVideo-V2: Multi-Stage High-Aesthetic Video Generation (magicvideov2.github.io)）もすごかったが、本件は生成可能な動画の長さと自然さでかなり進んでいる印象。

• Gemini 1.5: Unlocking multimodalunderstanding across millions of tokens ofcontext
  Gemini 1.5 Proは、きめ細かい情報をリコールして推論できる計算効率の高いマルチモーダル混合モデルである。モダリティ間の長いコンテキスト検索タスクのほぼ完璧なリコールを実現する。Gemini 1.0 Ultraの最先端のパフォーマンスを、幅広いベンチマークで比較または上回る。
• 長文を扱える能力が高くTF-IDF での検索＋re rankを行うパイプライン構成をとった場合を大きく超える性能。そして、旧Twitterでも紹介されていた「With only instructional materials (500 pages of linguistic documentation, a dictionary, and ≈ 400 parallel sentences) all provided in context, Gemini 1.5 Pro is capable of learning to translate from English to Kalamang, a language spoken by fewer than 200 speakers in western New Guinea in the east of Indonesian Papua2, and therefore almost no online presence.」が衝撃的。
• gemini_v1_5_report.pdf (storage.googleapis.com)
  • Google Japan Blog: 次世代モデル、 Gemini 1.5 を発表 (googleblog.com)

• A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts [38.3]
  本実験では,有効文脈長を最大20倍に向上させるエージェントシステムであるReadAgentを提案する。 人間が長い文書を対話的に読む方法に触発され、簡単なプロンプトシステムとしてReadAgentを実装した。 本稿では,検索手法を用いてベースラインに対するReadAgentの評価を行い,元の長コンテキストを用いて,gistメモリを用いて評価する。
  論文  参考訳（メタデータ）   (Thu, 15 Feb 2024 05:40:21 GMT)
• 人が長文を読むように一定チャンクごとに要点を保持するGistメモリを使用する方法を提案。ベンチマークで効果を確認とのこと。（BM25って結構優秀だなと別のところも気になった。）
• リポジトリはA Human-Inspired Reading Agent with Gist Memory of Very Long Contexts (read-agent.github.io)

• Data Engineering for Scaling Language Models to 128K Context [98.4]
  本研究では,言語モデルの文脈長を128Kまで拡張するための継続事前学習法について検討する。 長いコンテキストモデリング、特にthe ability to use information at any input locations は、主に大規模事前トレーニングによって既に獲得されている機能であり、この能力は、適切なデータ混合上での軽量な連続的事前トレーニングを通じて、トレーニング中(例えば、4kから128k)において、かなり長いコンテキストに拡張できると仮定する。 我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。
  論文  参考訳（メタデータ）   (Thu, 15 Feb 2024 18:19:16 GMT)
• 長文対応のためのレシピ。「the ability to utilize information at arbitrary locations within the 128K input is already mostly acquired by large-scale pretraining, even for models pretrained on substantially shorter 4K context.」というのは興味深い。
• リポジトリはFranxYao/Long-Context-Data-Engineering: Implementation of paper Data Engineering for Scaling Language Models to 128K Context (github.com)

• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [87.0]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:25:00 GMT)
• LLMの推論で課題となるKVキャッシュの圧縮方法の提案。タスクによっても異なるが50%のメモリ圧縮は可能そうに見える。

• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.2]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:27:53 GMT)
• 時系列予測にLLMを活用していこうという報告。「TIME-LLM shows promise in adapting frozen large language models for time series forecasting by reprogramming time series data into text prototypes more natural for LLMs and providing natural language guidance via Prompt-as-Prefix to augment reasoning.」とのことだが、なんでこんなことができるんだろう。。。
• リポジトリはKimMeen/Time-LLM: [ICLR 2024] Official implementation of “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models” (github.com)