- InceptionNeXt: When Inception Meets ConvNeXt [167.6]
IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。 InceptionNeXtはConvNeX-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
論文 参考訳（メタデータ） (Wed, 29 Mar 2023 17:59:58 GMT) - Transformer系モデルのテクニックをCNNに応用したConvNeXtより高速で優れた性能を持つ構造の提案。
- リポジトリはGitHub – sail-sg/inceptionnext: InceptionNeXt: When Inception Meets ConvNeXt
タグ: CNN
SLaK: Sparse Large Kernel Network
- More ConvNets in the 2020s: Scaling up Kernels Beyond 51×51 using Sparsity [103.6]
最近、いくつかの先進的な畳み込みモデルが、局所的だが大きな注意機構によって動機付けられた大きなカーネルで後退している。 本稿では,51×51カーネルを備えた純粋なCNNアーキテクチャであるSparse Large Kernel Network (SLaK)を提案する。
論文 参考訳（メタデータ） (Thu, 7 Jul 2022 23:55:52 GMT)- 大きなカーネルサイズを持つCNNアーキテクチャの提案。ConvNeXt と同様以上の性能とのこと。
- リーダーボードはImageNet Benchmark (Image Classification) | Papers With Code？
- データの条件やパラメータサイズなど考慮事項が多く比較が簡単ではない
- リポジトリはGitHub – VITA-Group/SLaK: “More ConvNets in the 2020s: Scaling up Kernels Beyond 51×51 using Sparsity”, Shiwei Liu, Tianlong Chen, Xiaohan Chen, Xuxi Chen, Qiao Xiao, Boqian Wu, Mykola Pechenizkiy, Decebal Constantin Mocanu, Zhangyang Wang
- 大きなカーネルサイズを持つCNNアーキテクチャの提案。ConvNeXt と同様以上の性能とのこと。
MLP? CNN? Transformer?
- Can Attention Enable MLPs To Catch Up With CNNs? [33.7]
多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。 新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
論文 参考訳（メタデータ） (Mon, 31 May 2021 16:08:46 GMT)- 最近のアーキテクチャを概説する論文。Long distance interactions, Local semantic information, Residual connections, Reduced inductive biasなど重要要素の取り扱いが記載されており、新しいアーキテクチャは従来のMLPではなく大きな進歩があると結論している。