- Are Pre-trained Convolutions Better than Pre-trained Transformers? [42.3]
CNNベースの事前学習モデルは競争力があり、特定のシナリオではTransformerよりも優れています。 本稿で概説した知見は,事前学習とアーキテクチャの進歩が混在していることを示唆している。
論文 参考訳（メタデータ） (Fri, 7 May 2021 15:13:30 GMT)- 事前学習を用いた学習でCNNの方がTransformerより優れていることがあるとの報告。Transformer一択という今の雰囲気に一石を投じる内容。