Divide-or-Conquer? Which Part Should You Distill Your LLM?

  • Divide-or-Conquer? Which Part Should You Distill Your LLM? [40.6]
    我々は、推論タスクを問題分解フェーズと問題解決フェーズに分割する同様の戦略を考案し,この戦略が単一段階のソリューションよりも優れていることを示す。
    論文  参考訳（メタデータ）   (Thu, 22 Feb 2024 22:28:46 GMT)
  • 一回で答えを導くのではなく、問題を分解したうえでLLMに答えさせる戦略のほうが良い結果になるという報告。CoTなりToTなりSelf verificationなり、自律エージェント的動作の効果を見るとそうなんだろうと納得感がある。
  • Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [80.5]
    本研究では,Large Language Model (LLM) の呼び出し回数が1層投票システムの性能に与える影響について検討する。 この非単調性は,タスク内の問合せの難しさの多様性に起因すると考えられる。
    論文  参考訳（メタデータ）   (Mon, 4 Mar 2024 19:12:48 GMT)
  • この論文も面白かった。複数のAPI call（LLM利用）によって性能が上がるかはタスクに依存するという内容。ただし、並列に動作する環境を想定しているようなので上記とは使い方がかなり異なる。

SheetRM & SheetAgent

  • SheetAgent: A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models [42.7]
    大規模言語モデル (LLM) は近年, スプレッドシートの自動操作のために試みられているが, 現実的なタスクではまだ研究されていない。 我々は、推論に依存した操作を伴う長い水平および複数カテゴリのタスクを特徴付けるベンチマークであるSheetRMを紹介した。 さらに,LLMのパワーを利用した新しい自律エージェントであるSheetAgentを提案する。
    論文  参考訳（メタデータ）   (Wed, 6 Mar 2024 11:48:08 GMT)
  • Excelのようなスプレッドシートに対するエージェント的動作のベンチマークとエージェントの提案。SheetAgentはPlanner、Informer、Retrieverで構成されPlannerがPythonコード、InformerがSQLを作成するプログラムを介するタイプ。SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models (sheetcopilot-demo.github.io)より高性能と主張。本件で構築されたベンチマークSheetRM (Spreadsheet Reasoning and Manipulation Benchmark)に対してはSheetCopilotのスコアが悪く、汎用的なエージェントを作る難しさ（対象業務によってアプローチを選ぶ必要性）がよくわかる気がする。
  • リポジトリはSheetAgent: A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models

KnowAgent

  • KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.1]
    大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。 この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。 我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
    論文  参考訳（メタデータ）   (Tue, 5 Mar 2024 16:39:12 GMT)
  • planning hallucinationへの対策として行動のための知識を計画時に使いパスを作ることで性能を上げるエージェントの提案。パラメータ数が多い（ベースモデルの性能が高い）ほど効果が大きいように見えるのが興味深い。
  • リポジトリはKnowAgent: Knowledge-Augmented Planning for LLM-Based Agents (zjukg.org)

Claude 3とYi

今週もLLM関連の話題が多く、AnthropicからGPT-4を超える性能というClaude 3が発表されてた。また、中国のスタートアップ01.AIによるYiは公開されているモデルの中では非常に高性能に思える（ライセンスは独自で商用利用時には登録が必要などCCなど一般的なものとは異なり、よく読む必要がある。）

Introducing the next generation of Claude \ Anthropic

Model_Card_Claude_3.pdf (anthropic.com)
The Claude 3 Model Family: Opus, Sonnet, Haiku
Claude 3ファミリーはベンチマーク評価全体で強力なパフォーマンスを示し、推論、数学、コーディングの尺度に新しい標準を設定する。Claude 3 Opus は GPQA [1], MMLU [2], MMMU [3] などの評価で最先端の結果を得る。Claude 3 HaikuはClaude 2よりも多くの純粋なテキストタスクで優れており、SonnetとOpusはそれを著しく上回っている。

  • Yi: Open Foundation Models by 01.AI [42.9]
    Yiモデルファミリは、6Bおよび34B事前訓練言語モデルに基づいており、チャットモデル、200K長コンテキストモデル、深度アップスケールモデル、ビジョン言語モデルに拡張する。 私たちのベースモデルは、MMLUのような幅広いベンチマークで強力なパフォーマンスを実現し、優れたチャットモデルは、AlpacaEvalやArenaといった主要な評価プラットフォーム上で、強い人間の嗜好率を提供します。
    論文  参考訳（メタデータ）   (Thu, 7 Mar 2024 16:52:49 GMT)
  • タスクによってかなり性能は違うが、英語で同サイズのLlamaを上回り、34Bだと英語でGPT-3.5、中国語でGPT-4に匹敵するようなモデルの提案。Weightが公開されているのがすごい。日本語でも相応の性能に思える。
  • リポジトリは01-ai/Yi: A series of large language models trained from scratch by developers @01-ai (github.com)、モデルは01-ai (01-ai) (huggingface.co)

Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions

  • Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [53.0]
    LINGOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
    論文  参考訳（メタデータ）   (Wed, 28 Feb 2024 03:44:01 GMT)
  • 形態素解析した結果と単語単位の辞書情報をLLMに入れることで未知の言語の翻訳ができたという論文。Geminiの事例を彷彿とさせ、LLMの指示理解力＆高い言語能力が興味深い。
  • リポジトリはLLiLab/llm4endangeredlang (github.com)

Spurious Correlations in Machine Learning: A Survey

  • Spurious Correlations in Machine Learning: A Survey [69.9]
    機械学習システムは、入力の偏りのある特徴と対応するラベルの間の急激な相関に敏感である。 これらの特徴とそのラベルとの相関は”spurious”として知られている。 我々は、機械学習モデルにおける素早い相関に対処する現在の最先端の手法の分類とともに、この問題を包括的にレビューする。
    論文  参考訳（メタデータ）   (Tue, 20 Feb 2024 04:49:34 GMT)
  • 頭の痛い問題を引き起こす機械学習における疑似相関に関するサーベイ、「When the correlations captured during training no longer hold in the test data, the performance of ML models tends to deteriorate, resulting in robustness issues and negative social impact in critical domains, such as healthcare.」はその通り。
  • 対処法も参考になるがdetectionをどうにかしたいところ。

The (R)Evolution of Multimodal Large Language Models: A Survey

  • The (R)Evolution of Multimodal Large Language Models: A Survey [48.6]
    MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティを、入力と出力の両方としてシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
    論文  参考訳（メタデータ）   (Mon, 19 Feb 2024 19:01:01 GMT)
  • マルチモーダルなLLMのサーベイ
  • 本当にいっぱいあるなーという印象と、公開されているものが多いのも興味深い

Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication

  • Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication [82.8]
    自然言語(NL)は長年、人間の認知とコミュニケーションの主要なフォーマットであった。 本研究では,異なる文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
    論文  参考訳（メタデータ）   (Wed, 28 Feb 2024 16:07:54 GMT)
  • LLMへの指示やLLM間の通信で自然言語より優れた方式を検討した論文。AutoForm (Autonomously-Decided Format)という手法で自然言語ではないプロンプト形式を使うと優れた結果が得られるとのこと。また、Agent間コミュニケーションもトークン数が減って効率的になるという結果。「We also find that the communication formats generated by LLMs resemble traditional ACLs, offering both precision and efficiency」（ここでのACLはAgent Communication Languages）というのも非常に興味深い。
  • リポジトリはthunlp/AutoForm: Code for paper “Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication” (github.com)

COMEDY:Commpressive Memory-Enhanced Dialogue sYstems

Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems