MLP? CNN? Transformer?

  • Can Attention Enable MLPs To Catch Up With CNNs? [33.7]
    多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。 新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
    論文  参考訳(メタデータ)   (Mon, 31 May 2021 16:08:46 GMT)
    • 最近のアーキテクチャを概説する論文。Long distance interactions, Local semantic information, Residual connections, Reduced inductive biasなど重要要素の取り扱いが記載されており、新しいアーキテクチャは従来のMLPではなく大きな進歩があると結論している。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です