- A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.9]
MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。 MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。 このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
論文 参考訳（メタデータ） (Tue, 13 Aug 2024 17:49:00 GMT) - いわゆるMoE：Mixture-of-Expertsよりも広い概念であるMoErging（a new paradigm for decentralized model development that aims to recycle expert models trained asynchronously by distributed contributors.）のサーベイ
タグ: Survey
Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
- Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.4]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳（メタデータ） (Wed, 14 Aug 2024 16:58:48 GMT) - 最近、よく話題に上がるモデルマージに関するサーベイ
Deep Generative Models in Robotics / Deep Reinforcement Learning for Robotics
AIとロボティクスの融合は重要な研究分野。近年だと生成AIとの融合が話題だが、深層強化学習に関しても研究が多い。この分野のサーベイはとてもありがたい。
- Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.1]
近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。 本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。 また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 11:34:31 GMT) - 生成モデルとロボティクスに関するサーベイ。
- Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes [44.6]
強化学習(RL)は、広範囲のアプリケーションで非常に有望である。 ロボットの問題は、物理世界との相互作用の複雑さとコストから起因して、RLの応用に根本的な困難をもたらす。 この調査は、RLの能力を活用して一般的な実世界のロボットシステムを構築するための、RLの実践者とロボティクスの両方に洞察を提供するように設計されている。
論文 参考訳（メタデータ） (Wed, 7 Aug 2024 04:35:38 GMT) - 深層強化学習とロボティクスに関するサーベイ。
Fairness and Bias Mitigation in Computer Vision: A Survey
- Fairness and Bias Mitigation in Computer Vision: A Survey [61.0]
コンピュータビジョンシステムは、高精細な現実世界のアプリケーションにますますデプロイされている。 歴史的または人為的なデータにおいて差別的な傾向を伝播または増幅しないことを確実にする必要がある。 本稿では,コンピュータビジョンの文脈における現在進行中の傾向と成功をまとめた,公平性に関する総合的な調査を行う。
論文 参考訳（メタデータ） (Mon, 05 Aug 2024 13:44:22 GMT) - コンピュータビジョンにおける公平性のサーベイ。
- 生成モデルの流行で注目されている分野であり、研究の進展もとても速い。
A Survey of Mamba
- A Survey of Mamba [26.7]
近年,基礎モデル構築の代替手段として,Mambaという新しいアーキテクチャが登場している。 本研究では,マンバモデルの発展,多様なデータにマンバを適応させる技術,およびマンバが優れている応用について検討する。
論文 参考訳（メタデータ） (Fri, 02 Aug 2024 09:18:41 GMT) - 期待が膨らむMambaのサーベイ。
- 「Mamba, an emerging deep learning architecture, has demonstrated remarkable success across diverse domains, such as language generation, image classification, recommendation, and drug discovery, owing to its powerful modeling capabilities and computational efficiency.」と、Transformerを超えていけるか楽しみ。
From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future
- From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.6]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文 参考訳（メタデータ） (Mon, 05 Aug 2024 14:01:15 GMT) - LLMを用いたソフトウエア工学に関するサーベイ。エージェントにもフォーカスしている。
- 「The analysis revealed that the emergence of LLM-based agents has led to extensive research and applications across various software engineering topics, demonstrating different emphases compared to traditional LLMs in terms of tasks, benchmarks, and evaluation metrics.」と結論し、Agentの有効性を示唆していそう。（しかしtraditional LLMsって・・・）
A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks
- A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.5]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳（メタデータ） (Fri, 2 Aug 2024 15:14:53 GMT) - マルチモーダルなLLMに関するサーベイ。多くの研究機関が取り組んでおり成果も多数。
- 図がとても参考になる。
A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More
- A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More [16.5]
大規模言語モデル(LLM)は、人間のクエリに対する事実的かつ一貫性のある応答を生成することができる。 しかし、学習データの混合品質は、望ましくない応答を発生させる可能性がある。
論文 参考訳（メタデータ） (Tue, 23 Jul 2024 06:45:52 GMT) - アライメント手法に関するサーベイで、salesforceのチームによる包括的なもの
- 「Over the past two years, various methods have been proposed from different perspectives to enhance LLMs, particularly in aligning them with human expectation.」とある通り、近年急速に研究が進む（というよりは少し前から出来上がってきた）分野
Internal Consistency and Self-Feedback in Large Language Models: A Survey
- Internal Consistency and Self-Feedback in Large Language Models: A Survey [17.5]
大規模言語モデル(LLM)は、正確に応答することが期待されているが、しばしば不十分な推論や幻覚的内容を生成する。 理論的枠組みは「内部整合性(internal Consistency)」と呼ばれ、推論の欠如や幻覚の存在といった現象について統一的な説明を提供する。 本稿では,自己フィードバック(Self-Feedback)と呼ばれる内部一貫性をマイニングする,合理的かつ効果的な理論的枠組みを提案する。
論文 参考訳（メタデータ） (Fri, 19 Jul 2024 17:59:03 GMT) - Self-なんとかに関連するもののサーベイ。「Self-Evaluation」 と「 Self-Update」からなる「Self-Feedbackフレームワーク 」で考えると整理しやすいのは確か。
- リポジトリはGitHub – IAAR-Shanghai/ICSFSurvey: A comprehensive survey on Internal Consistency and Self-Feedback in Large Language Models, including theoretical frameworks, task classifications, evaluation methods, future research directions and more!
Formalizing UML State Machines for Automated Verification — A Survey
- Formalizing UML State Machines for Automated Verification — A Survey [15.0]
モデリング言語(UML)は、動的システムのモデリングの標準である。 本稿では、設計段階でモデルチェックを行う目的でUMLステートマシンセマンティクスの形式化に関する1997年から2021年までの既存の研究を包括的に調査する。
論文 参考訳（メタデータ） (Wed, 24 Jul 2024 12:15:31 GMT) - UMLについて形式検証を軸に調査したサーベイ
- 本サーベイにも関係するがLLMを用いて自然言語で書かれた使用を形式言語に変換、形式検証に持ち込むようなアプローチは興味深いと思っている（研究はされている）