コンテンツへスキップ
- MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing [123.4]
ビデオ認識のための斬新な3Dアーキテクチャを提案する。 結果は、最先端の3D CNNやビデオトランスフォーマーに匹敵する。
論文 参考訳（メタデータ） (Mon, 13 Jun 2022 16:21:33 GMT)
- Can Attention Enable MLPs To Catch Up With CNNs? [33.7]
多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。 新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
論文 参考訳（メタデータ） (Mon, 31 May 2021 16:08:46 GMT)- 最近のアーキテクチャを概説する論文。Long distance interactions, Local semantic information, Residual connections, Reduced inductive biasなど重要要素の取り扱いが記載されており、新しいアーキテクチャは従来のMLPではなく大きな進歩があると結論している。
- Pay Attention to MLPs [84.5]
gMLP はキー言語やアプリケーションで Transformer と同等に動作可能であることを示す。 我々の比較では、gMLPが同じ精度を達成できるため、ビジョントランスフォーマーには自己注意が重要でないことが示されている。 一般的な実験では、gMLPはデータと計算量を増やして、Transformerと同様にスケール可能である。
論文 参考訳（メタデータ） (Mon, 17 May 2021 17:55:04 GMT)- 「Are Pre-trained Convolutions Better than Pre-trained Transformers? （このBlogの記事）」と似たような話だが、一定規模・計算量があればTransformerだからという優位性はないのかも。