Regularization is all you Need

  • Regularization is all you Need: Simple Neural Nets can Excel on Tabular Data [36.1]
    タブラルデータセットは、ディープラーニングのための最後の”未完成の城”である。 Gradient Boosted Decision Treesのような従来のMLメソッドは、最近の特殊なニューラルネットワークに対してさえ、強く機能している。 13の正則化手法の最適組み合わせ/カクテルを探索し,平面多層パーセプトロン(MLP)ネットワークの正則化を提案する。
    論文  参考訳(メタデータ)   (Mon, 21 Jun 2021 15:27:43 GMT)
    • (i)高度に正則化されたプレーンなMLPが最近の最先端の専門的ニューラルネットワークアーキテクチャを著しく上回り,(ii)XGBoostのような強力なML手法よりも優れているとの報告。
    • (balanced accuracyだからか?)表の中に出てくるスコアに低すぎるっぽいものもあり要精査な印象。