月: 2024年2月

In-Context Principle Learning from Mistakes

  • In-Context Principle Learning from Mistakes [75.7]
    Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。 我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
    論文  参考訳（メタデータ）   (Thu, 8 Feb 2024 04:42:29 GMT)
  • ICLを改善するため、不正解な事例を正しく修正させ原理を説明させるプロセスを混ぜる手法Learning Principles (LEAP)を提案。効果あったとのこと。
  • 改善するか否かはモデルにも依存している？っぽい結果。

Understanding the planning of LLM agents: A survey

  • Understanding the planning of LLM agents: A survey [98.8]
    本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。 各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
    論文  参考訳（メタデータ）   (Mon, 5 Feb 2024 04:25:24 GMT)
  • 最近よく見るLLMを利用した自律エージェントのうち計画に関するサーベイ。さらにTask Decomposition, Plan Selection, External Module, Reflection, Memoryに細分化して整理している。実質７ページとよくまとまっているサーベイ。

Tabular Data: Is Attention All You Need?

  • Tabular Data: Is Attention All You Need? [23.8]
    本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。 これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
    論文  参考訳（メタデータ）   (Tue, 6 Feb 2024 12:59:02 GMT)
  • テーブルデータのおけるNN系手法、ツリー系手法の比較。一般的にテーブルデータではツリー系手法の強さが目立つが、そうでもないとの報告。Transformer系手法は十分な性能を出せていないのでは？とのこと
  • 平均的にはResNeXtが優秀という意外な（？）結果、スタッキングでどうなるかも興味がある。

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

  • Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [87.0]
    大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
    論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:25:00 GMT)
  • LLMの推論で課題となるKVキャッシュの圧縮方法の提案。タスクによっても異なるが50%のメモリ圧縮は可能そうに見える。

Multi-Lingual Text Embeddings

マルチリンガルなテキストの埋め込みについて2つ報告が出ていた。1つ目は高性能と話題のE5、もう1つはBAAIのモデルでベンチマーク上はE5以上の性能のように見える。いずれもオープンなライセンスのようで使いやすそう。

  • Multilingual E5 Text Embeddings: A Technical Report [63.5]
    異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。 そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
    論文  参考訳（メタデータ）   (Thu, 8 Feb 2024 13:47:50 GMT)
  • 高性能と話題でOpenAIの埋め込みモデルの別の選択肢としても有名な手法のテクニカルレポート
  • リポジトリはunilm/e5 at master · microsoft/unilm (github.com)、モデルはintfloat/multilingual-e5-base · Hugging Faceなど
  • BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation [28.2]
    本稿では,M3-Embeddingと呼ばれる新しい埋め込みモデルを提案する。 100以上の作業言語をサポートすることができるため、多言語および多言語検索タスクにおける最先端のパフォーマンスが新たに向上する。 M3-Embeddingは、短い文から最大8192トークンの長いドキュメントまで、さまざまな粒度の入力を処理することができる。
    論文  参考訳（メタデータ）   (Mon, 5 Feb 2024 17:26:49 GMT)
  • BAAIによる埋め込みモデル。E5より性能が高いと主張。
  • リポジトリはFlagOpen/FlagEmbedding: Dense Retrieval and Retrieval-augmented LLMs (github.com)モデルはBAAI/bge-m3 · Hugging Face

Time-LLM

  • Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.2]
    時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
    論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:27:53 GMT)
  • 時系列予測にLLMを活用していこうという報告。「TIME-LLM shows promise in adapting frozen large language models for time series forecasting by reprogramming time series data into text prototypes more natural for LLMs and providing natural language guidance via Prompt-as-Prefix to augment reasoning.」とのことだが、なんでこんなことができるんだろう。。。
  • リポジトリはKimMeen/Time-LLM: [ICLR 2024] Official implementation of “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models” (github.com)

GSSMs vs transformerとBlack Mamba

GSSM（Generalized State Space Models）とtransformerの比較とMoEなアプローチ。昨日のMambaのICL（In Context Learning）性能 – arXiv最新論文の紹介 (devneko.jp)の通り、特性はかなり違うのでMoEっぽく使うのはありなのかもしれない。

  • Repeat After Me: Transformers are Better than State Space Models at Copying [57.4]
    一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
    論文  参考訳（メタデータ）   (Thu, 1 Feb 2024 21:44:11 GMT)
  • シンプルな事例でのGSSMとtransformerの比較。当然なのかもだが「transformer models dramatically outperform state space models at copying and retrieving information from context.」
  • BlackMamba: Mixture of Experts for State-Space Models [10.2]
    状態空間モデル(SSM)は、最近、大規模な言語モデリングベンチマークでトランスフォーマーと競合する性能を示した。 MoEモデルは、計算コストと遅延コストを大幅に削減しながら、顕著なパフォーマンスを示している。 我々は,Mamba SSMとMoEを組み合わせた新しいアーキテクチャであるBlackMambaを紹介した。
    論文  参考訳（メタデータ）   (Thu, 1 Feb 2024 07:15:58 GMT)
  • リポジトリはZyphra/BlackMamba: Code repository for Black Mamba (github.com)、モデルも公開されている　Zyphra/BlackMamba-2.8B · Hugging Face

CodeComposeの進化

  • Multi-line AI-assisted Code Authoring [10.2]
    単行提案から複数行提案まで、プロダクトのスケール方法を紹介します。 LLMの提案は、開発者の既存のコードの周りを常に動き回っているので、マルチラインの提案がどのように”ジャリング”効果を持つのかについて議論する。 私たちは、マルチライン提案がユーザエクスペリエンスに与える影響を理解するために、10人のエンジニアで実験を行います。
    論文  参考訳（メタデータ）   (Tue, 6 Feb 2024 16:48:50 GMT)
  • Fugu-MT 論文翻訳(概要): CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code Authoring (fugumt.com) の強化、特にマルチラインの扱いに関する論文
  • 様々な工夫も興味深いが「the significant net increase in percentage of keystrokes saved nearly doubling from 9% to 17%.」というのは結構有効そう。

Self-Discover

  • Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.5]
    タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
    論文  参考訳（メタデータ）   (Tue, 6 Feb 2024 01:13:53 GMT)
  • 各タスクでとるべき推論構造を自己判断させて問題を解く手法の提案、CoTなどと比べて高性能
  • 他の手法と比べて整合的な比較になっているのかはやや疑問。（実用上は問題ない気もするが。）

MambaのICL（In Context Learning）性能

MambaのICL性能に関して論文が二つ出ていた。結局タスクによるっぽいという感じだろうか。。。少なくとも一定のICL能力があるのは間違いないように思える。一つ目のハイブリッドアーキテクチャの提案はありなのか、それだとMambaの良さが薄くなるのか悩ましいところではある。

  • Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks [26.2]
    状態空間モデル(SSM)は言語モデリングにおけるトランスフォーマーネットワークの代替として提案されている。 本研究では,各種タスクを対象としたトランスフォーマーモデルに対して,マンバに着目したSSMのICL性能を評価する。 その結果、SSMは標準回帰ICLタスクにおいてトランスフォーマーと相容れない性能を示し、スパースパリティ学習のようなタスクでは優れていた。 これらの制約に対処するため、我々はMambaとアテンションブロックを組み合わせたハイブリッドモデルを導入し、個別に苦労するタスクにおいて個々のモデルを上回るようにした。
    論文  参考訳（メタデータ）   (Tue, 6 Feb 2024 18:56:35 GMT)
  • こちらは「Our results show that SSMs perform comparably to Transformers in standard regression ICL tasks, while outperforming them in tasks like sparse parity learning.However, SSMs fall short in tasks involving non-standard retrieval functionality.」とのことでタスクに依存という報告
  • 上記を受けてMambaFormer というハイブリッドアーキテクチャを提案
  • Is Mamba Capable of In-Context Learning? [68.3]
    Mambaは、新しく提案された選択的な状態空間モデルである。 マムバは文脈内学習におけるトランスフォーマーモデルの性能と一致することを示す。
    論文  参考訳（メタデータ）   (Mon, 5 Feb 2024 16:39:12 GMT)
  • こちらは「Mamba matches the performance of transformer models for ICL.」との報告
  • 「Mamba appears to solve ICL problems by incrementally refining its internal representations in a manner akin to an iterative optimization strategy, as transformer do.」という指摘も興味深い