- MoExtend: Tuning New Experts for Modality and Task Extension [61.3]
MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
論文 参考訳（メタデータ） (Wed, 07 Aug 2024 02:28:37 GMT) - MoE的なものだが、モダリティを拡張する手法の提案、実験結果からも非常に効果的に見える。
- リポジトリはGitHub – zhongshsh/MoExtend: ACL 2024 (SRW), Official Codebase of our Paper: “MoExtend: Tuning New Experts for Modality and Task Extension”