コンテンツへスキップ
- Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.5]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRouting Mamba (RoM)を紹介する。
論文 参考訳（メタデータ） (Sun, 22 Jun 2025 19:26:55 GMT)
- 「We introduce Routing Mamba (RoM), a novel framework that integrates MoE mechanisms into SSMs by leveraging Mamba’s projection layers as scalable expert components.」とMoE的なフレームワークをMambaに持ち込んだ研究。効率・性能が向上とのこと。
- Memba: Membrane-driven Parameter-Efficient Fine-Tuning for Mamba [21.5]
Membaは、State Space Models（SSMs）に特化した新しいパラメータ効率的ファインチューニング手法であり、Mambaモデルの能力を向上させることを目指しています。Leaky Integrate Membrane (LIM)ニューロンを用いて時間的な情報保持を強化し、従来のファインチューニング手法と比べて優れたパフォーマンスを実現しています。実験結果は、Membaが言語モデルやコンピュータビジョンのタスクにおいて他の手法よりも著しい改善を示すことを示しています。
論文 参考訳（メタデータ） (Sun, 22 Jun 2025 21:52:45 GMT)
- Mamba用に設計された効率的なfine tuningフレームワーク
- リポジトリはhttps://github.com/Intelligent-Computing-Lab-Yale/Membaとのことだが、現時点では404
- Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.4]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文 参考訳（メタデータ） (Mon, 16 Jun 2025 07:55:14 GMT)
- knowledge-preserved mode (KPM) 、instruction- previewed mode (IPM)の導入、結果「Experimental results demonstrate that our method in KPM outperforms LoRA not only in downstream performance but also in maintaining zero-shot capabilities for both large language models and vision language models. Meanwhile, the IPM exhibits superior fine-tuning performance and faster convergence in both standard and quantized adaptation across various tasks.」とのこと。
- peft/examples/corda_finetuning at main · huggingface/peft · GitHubにサンプルがある
- Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions [17.1]
大規模言語モデルとAIシステムの進歩は、複雑なAIの設計と最適化におけるパラダイムシフトにつながった。 本稿では,複合AIシステムの最適化における最近の進歩を,数値的手法と言語的手法の両方を包含して体系的にレビューする。 我々は、複合AIシステムの最適化の概念を形式化し、いくつかの重要な側面に沿って既存のメソッドを分類し、この急速に発展する分野におけるオープンな研究課題と今後の方向性を明らかにする。
論文 参考訳（メタデータ） (Mon, 09 Jun 2025 21:04:14 GMT)
- 「This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language- based techniques.」と実用上重要な複合的なAIシステムに関するサーベイ
- リポジトリはGitHub – MiuLab/AISysOpt-Survey
- CRITICTOOL: Evaluating Self-Critique Capabilities of Large Language Models in Tool-Calling Error Scenarios [30.2]
大規模な言語モデルが外部ツールを利用する能力により、ますます多様なタスクに対処できるようになった。 タスクがより複雑で長期的になると、複雑なツール利用プロセスが様々な予期せぬエラーを引き起こす可能性がある。 このようなエラーの特定、診断、回復など、効果的に対処する方法が、ツール学習を進める上で重要な研究方向として現れている。
論文 参考訳（メタデータ） (Wed, 11 Jun 2025 17:59:18 GMT)
- 「ICTOOL, the first self-critique evaluation benchmark for tool utilization of LLMs. Distinct from prior result-oriented evaluation methods, we categorize error patterns more finely and evaluate models from multiple perspectives, enabling a deeper exploration of LLMs’ tool-use capabilities in errorprone scenarios.」というベンチマーク。最新モデルでの結果が気になるところ。
- リポジトリはGitHub – Shellorley0513/CriticTool
- Institutional Books 1.0: A 242B token dataset from Harvard Library’s collections, refined for accuracy and usability [1.3]
Institutional Books 1.0は、2006年からHarvard LibraryのGoogle Booksプロジェクトへの参加を通じてデジタル化されたパブリックドメインブックのコレクションである。 ハーバード図書館で作業し、これらの論文を抽出し、分析し、処理し、歴史文書の広範囲に記録されたデータセットにしました。 この分析は、当初250以上の異なる言語で書かれた1,075,899巻に及ぶ、約250億個のトークンをスキャンしたハーバード図書館のコレクション全体をカバーしている。
論文 参考訳（メタデータ） (Tue, 10 Jun 2025 00:11:30 GMT)
- 「OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available.」という大規模データ
- データセットはinstitutional/institutional-books-1.0 · Datasets at Hugging Face、リポジトリはGitHub – instdin/institutional-books-1-pipeline: The Institutional Data Initiative’s pipeline for analyzing, refining, and publishing the Institutional Books 1.0 collection.
- Pushing the Limits of Safety: A Technical Report on the ATLAS Challenge 2025 [167.9]
本稿では,Adversarial Testing & Large-model Alignment Safety Grand Challenge (ATLAS) 2025の成果を報告する。 このコンペティションには、ホワイトボックスとブラックボックス評価という2つのフェーズで、敵対的な画像テキスト攻撃を通じてMLLM脆弱性をテストする86のチームが含まれていた。 この課題はMLLMの安全性評価のための新しいベンチマークを確立し、より安全なAIシステムを改善するための基盤を配置する。
論文 参考訳（メタデータ） (Sat, 14 Jun 2025 10:03:17 GMT)
- MLLMへの攻撃コンペティションの結果報告。多くのチームが参加するコンペティションで使われたテクニックはとても参考になる。一位だったチームの「In this competition, we proposed an effective multimodal jailbreak strategy by embedding malicious intent within visually structured diagrams, particularly flowcharts, and enhancing it with carefully designed textual prompts. Our approach leveraged the weaknesses in safety alignment of vision-language models, exploiting their tendency to follow structured visual and textual cues.」のようにフローチャートを通したJailbreakなど画像をうまく使っているの興味深い。
- リポジトリはGitHub – NY1024/ATLAS_Challenge_2025
- MMTU: A Massive Multi-Task Table Understanding and Reasoning Benchmark [70.5]
MMTUは、25の現実世界のテーブルタスクに30万以上の質問がある大規模なベンチマークである。 MMTUは、専門家レベルで実際のテーブルを理解し、推論し、操作できるモデルを包括的に評価するように設計されている。 MMTUはテーブル理解、推論、コーディングといった、今日のフロンティアモデルにとって困難なスキルの組み合わせを必要としています。
論文 参考訳（メタデータ） (Thu, 05 Jun 2025 21:05:03 GMT)
- 「We show that MMTU require a combination of skills – includ- ing table understanding, reasoning, and coding – that remain challenging for today’s frontier models, where even frontier reasoning models like OpenAI o4- mini and DeepSeek R1 score only around 60%, suggesting significant room for improvement.」という数表を扱うベンチマーク
- リポジトリはGitHub – MMTU-Benchmark/MMTU、データはMMTU-benchmark/MMTU · Datasets at Hugging Face
- Model Merging for Knowledge Editing [53.8]
大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (Sat, 14 Jun 2025 07:42:39 GMT)
- SFTとmodel mergeによるknowledge editing
- リポジトリはGitHub – Applied-Machine-Learning-Lab/MM4KE