月: 2024年3月

Vision-RWKV

  • Vision-RWKV: Efficient and Scalable Visual Perception with RWKV-Like Architectures [99.2]
    本稿では、NLPフィールドで使用されるRWKVモデルから適応したVision-RWKVを紹介する。 スパース入力を効率的に処理し、ロバストなグローバル処理能力を示すように設計されている。 画像分類における評価では,VRWKVはViTの分類性能と著しく高速で,メモリ使用量が少ないことが示されている。
    論文  参考訳（メタデータ）   (Mon, 4 Mar 2024 18:46:20 GMT)
  • RWKVの画像分野への応用。Vision Transformerと比べ性能的には同等、メモリ・速度の効率は大幅に優れているように見える。
  • リポジトリはOpenGVLab/Vision-RWKV: Vision-RWKV: Efficient and Scalable Visual Perception with RWKV-Like Architectures (github.com)

Large Multimodal Agents: A Survey

  • Large Multimodal Agents: A Survey [78.8]
    大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
    論文  参考訳（メタデータ）   (Fri, 23 Feb 2024 06:04:23 GMT)
  • 研究が流行っているLLM＆マルチモーダル＆エージェントのサーベイ
  • リポジトリも参考になる　jun0wanan/awesome-large-multimodal-agents (github.com)

A Survey on Data Selection for Language Models

  • A Survey on Data Selection for Language Models [151.6]
    データ選択方法は、トレーニングデータセットに含まれるデータポイントを決定することを目的としている。 ディープラーニングは、主に実証的な証拠によって駆動され、大規模なデータに対する実験は高価である。 広範なデータ選択研究のリソースを持つ組織はほとんどない。
    論文  参考訳（メタデータ）   (Mon, 26 Feb 2024 18:54:35 GMT)
  • データ選択（クレンジング含む）に関するサーベイ。40ページ超と分量が多い。
  • この処理が重要であることはよく知られているが、あまり発表されることがない。非常に貴重な資料だと思う。

Design2Code

  • Design2Code: How Far Are We From Automating Front-End Engineering? [83.1]
    マルチモーダルLLMがビジュアルデザインをコード実装に直接変換するタスクを Design2Code タスクとして形式化し,包括的なベンチマークを行う。 具体的には、テストケースとして、484の多様な現実世界のWebページのベンチマークを手動でキュレートする。 我々は,GPT-4V と Gemini Pro Vision 上で,マルチモーダルプロンプト手法のスイートを開発し,その有効性を示す。 人的評価と自動測定の両方で、GPT-4Vは他のモデルと比較して、このタスクにおいて最善であることを示している。
    論文  参考訳（メタデータ）   (Tue, 5 Mar 2024 17:56:27 GMT)
  • WEBページの画像からコードを作れるかを検証した論文。GPT-4Vが最も性能が高いが、十分ではなさそう。既存のオープンソースモデルの性能はかなり悪い。論文中ではCogAgent – arXiv最新論文の紹介 (devneko.jp)をfine tuningしたDesign2Code-18Bを開発、公開している。
  • MistralベースのHuggingFaceM4/VLM_WebSight_finetuned · Hugging Faceがまずまずのスコアを出しており「WebSight VLM-8B performs better than Gemini direct prompting (54% win rate and 35% lose rate), suggesting that finetuning on a large amount of data can match commercial models in specific domains.」とされているのも興味深い。
  • リポジトリはDesign2Code: How Far Are We From Automating Front-End Engineering (salt-nlp.github.io)

Open-world Machine Learning: A Review and New Outlooks 

  • Open-world Machine Learning: A Review and New Outlooks [88.6]
    本稿では,新たなオープンワールド機械学習パラダイムを包括的に紹介することを目的としている。 研究者がそれぞれの分野でより強力なAIシステムを構築するのを支援し、人工知能の開発を促進することを目的としている。
    論文  参考訳（メタデータ）   (Mon, 4 Mar 2024 06:25:26 GMT)
  • 「This paper provides a holistic view of open-world machine learning by investigating unknown rejection, novel class discovery, and class-incremental learning in a unified paradigm」ということで開かれた世界に対する機械学習で必要な要素を整理した論文。
  • 対象ドメインやどの程度のことが起こりうるのかという意味でもオープンさにもよるのだろうが、LLM時代においても難しい部分が多いのだろうか。

Divide-or-Conquer? Which Part Should You Distill Your LLM?

  • Divide-or-Conquer? Which Part Should You Distill Your LLM? [40.6]
    我々は、推論タスクを問題分解フェーズと問題解決フェーズに分割する同様の戦略を考案し,この戦略が単一段階のソリューションよりも優れていることを示す。
    論文  参考訳（メタデータ）   (Thu, 22 Feb 2024 22:28:46 GMT)
  • 一回で答えを導くのではなく、問題を分解したうえでLLMに答えさせる戦略のほうが良い結果になるという報告。CoTなりToTなりSelf verificationなり、自律エージェント的動作の効果を見るとそうなんだろうと納得感がある。
  • Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [80.5]
    本研究では,Large Language Model (LLM) の呼び出し回数が1層投票システムの性能に与える影響について検討する。 この非単調性は,タスク内の問合せの難しさの多様性に起因すると考えられる。
    論文  参考訳（メタデータ）   (Mon, 4 Mar 2024 19:12:48 GMT)
  • この論文も面白かった。複数のAPI call（LLM利用）によって性能が上がるかはタスクに依存するという内容。ただし、並列に動作する環境を想定しているようなので上記とは使い方がかなり異なる。

SheetRM & SheetAgent

  • SheetAgent: A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models [42.7]
    大規模言語モデル (LLM) は近年, スプレッドシートの自動操作のために試みられているが, 現実的なタスクではまだ研究されていない。 我々は、推論に依存した操作を伴う長い水平および複数カテゴリのタスクを特徴付けるベンチマークであるSheetRMを紹介した。 さらに,LLMのパワーを利用した新しい自律エージェントであるSheetAgentを提案する。
    論文  参考訳（メタデータ）   (Wed, 6 Mar 2024 11:48:08 GMT)
  • Excelのようなスプレッドシートに対するエージェント的動作のベンチマークとエージェントの提案。SheetAgentはPlanner、Informer、Retrieverで構成されPlannerがPythonコード、InformerがSQLを作成するプログラムを介するタイプ。SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models (sheetcopilot-demo.github.io)より高性能と主張。本件で構築されたベンチマークSheetRM (Spreadsheet Reasoning and Manipulation Benchmark)に対してはSheetCopilotのスコアが悪く、汎用的なエージェントを作る難しさ（対象業務によってアプローチを選ぶ必要性）がよくわかる気がする。
  • リポジトリはSheetAgent: A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models

KnowAgent

  • KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.1]
    大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。 この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。 我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
    論文  参考訳（メタデータ）   (Tue, 5 Mar 2024 16:39:12 GMT)
  • planning hallucinationへの対策として行動のための知識を計画時に使いパスを作ることで性能を上げるエージェントの提案。パラメータ数が多い（ベースモデルの性能が高い）ほど効果が大きいように見えるのが興味深い。
  • リポジトリはKnowAgent: Knowledge-Augmented Planning for LLM-Based Agents (zjukg.org)

Claude 3とYi

今週もLLM関連の話題が多く、AnthropicからGPT-4を超える性能というClaude 3が発表されてた。また、中国のスタートアップ01.AIによるYiは公開されているモデルの中では非常に高性能に思える（ライセンスは独自で商用利用時には登録が必要などCCなど一般的なものとは異なり、よく読む必要がある。）

Introducing the next generation of Claude \ Anthropic

Model_Card_Claude_3.pdf (anthropic.com)
The Claude 3 Model Family: Opus, Sonnet, Haiku
Claude 3ファミリーはベンチマーク評価全体で強力なパフォーマンスを示し、推論、数学、コーディングの尺度に新しい標準を設定する。Claude 3 Opus は GPQA [1], MMLU [2], MMMU [3] などの評価で最先端の結果を得る。Claude 3 HaikuはClaude 2よりも多くの純粋なテキストタスクで優れており、SonnetとOpusはそれを著しく上回っている。

  • Yi: Open Foundation Models by 01.AI [42.9]
    Yiモデルファミリは、6Bおよび34B事前訓練言語モデルに基づいており、チャットモデル、200K長コンテキストモデル、深度アップスケールモデル、ビジョン言語モデルに拡張する。 私たちのベースモデルは、MMLUのような幅広いベンチマークで強力なパフォーマンスを実現し、優れたチャットモデルは、AlpacaEvalやArenaといった主要な評価プラットフォーム上で、強い人間の嗜好率を提供します。
    論文  参考訳（メタデータ）   (Thu, 7 Mar 2024 16:52:49 GMT)
  • タスクによってかなり性能は違うが、英語で同サイズのLlamaを上回り、34Bだと英語でGPT-3.5、中国語でGPT-4に匹敵するようなモデルの提案。Weightが公開されているのがすごい。日本語でも相応の性能に思える。
  • リポジトリは01-ai/Yi: A series of large language models trained from scratch by developers @01-ai (github.com)、モデルは01-ai (01-ai) (huggingface.co)

Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions

  • Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [53.0]
    LINGOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
    論文  参考訳（メタデータ）   (Wed, 28 Feb 2024 03:44:01 GMT)
  • 形態素解析した結果と単語単位の辞書情報をLLMに入れることで未知の言語の翻訳ができたという論文。Geminiの事例を彷彿とさせ、LLMの指示理解力＆高い言語能力が興味深い。
  • リポジトリはLLiLab/llm4endangeredlang (github.com)