SELU: Self-Learning Embodied MLLMs in Unknown Environments

  • SELU: Self-Learning Embodied MLLMs in Unknown Environments [35.6]
    マルチモーダルな大言語モデル(MLLM)は、強力な視覚的理解と意思決定能力を示している。 本稿では,強化学習におけるアクター批判的自己学習パラダイムに触発された,SELUと呼ばれる新しいアクター批判的自己学習パラダイムを提案する。
    論文  参考訳(メタデータ)   (Fri, 04 Oct 2024 10:40:11 GMT)
  • 「We propose a self-learning paradigm for embodied MLLMs, SELU, inspired by the actorcritic paradigm in reinforcement learning, which enables MLLMs to self-adapt to unknown environments.」というSelf-XでEmbodiedというとても未来を感じる研究。
  • 環境に対するActorに対してMLLM Criticが評価するという、最近流行りのフレームワークだが、Actor MLLMとClitic MLLMをそれぞれfine tuningしていくことに特徴がある(同じMLLMを使うSELU Oneより優れているとのこと)

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です