MambaOut: Do We Really Need Mamba for Vision? [70.6] 状態空間モデル(SSM)のRNNライクなトークンミキサーを備えたアーキテクチャであるMambaが最近導入され、注意機構の2次複雑さに対処した。 本論文は,マンバが長周期および自己回帰特性を有するタスクに理想的に適していることを概念的に結論づける。 我々は,コアトークンミキサーであるSSMを除去しながら,Mambaブロックを積み重ねてemphMambaOutという一連のモデルを構築した。 論文参考訳（メタデータ） (Mon, 13 May 2024 17:59:56 GMT)
Mambaの特徴を「Mamba is ideally suited for tasks with long-sequence and autoregressive characteristics.」とし、分類問題には不要であるとし、実証した論文。一方で「the potential of Mamba for visual detection and segmentation tasks, which align with the long-sequence characteristic, merits further exploration.」ともあり、タスクの特徴を踏まえることが重要。