Mixture-of-Agents Enhances Large Language Model Capabilities

  • Mixture-of-Agents Enhances Large Language Model Capabilities [34.7]
    我々は,Mixture-of-Agents(MoA)手法を用いて,多言語モデル(LLM)の総合的知識を活用する新しい手法を提案する。 提案手法では, 各層が複数のLLMエージェントから構成される層状MoAアーキテクチャを構築する。 MoAモデルは、AlpacaEval 2.0、MT-Bench、FLASKで、GPT-4 Omniを上回っている。
    論文  参考訳（メタデータ）   (Fri, 07 Jun 2024 07:04:10 GMT)
  • 名前からしても強力そうなMixture-of-Agents、階層型で複数のLLMの結果を踏まえて解を求めていく動作のよう。オープンソースモデル（Qwen1.5 110B-Chat、Qwen1.5 72B-Chat、WizardLM-8x22B、 LLaMA-3-70B-Instruct 、 Mixtral-8x22B-v0.1、dbrx-instruct）の複合でGPT-4oを上回ったのは凄い。
  • リポジトリはGitHub – togethercomputer/MoA

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です