データを集めるべきか、モデルを工夫すべきか

  • A Few More Examples May Be Worth Billions of Parameters [26.1]
    モデルパラメータ数の増加とラベル付き例数の増加のダイナミクスについて検討する。 オープンな質問応答タスクでは、トレーニングセットを拡大してもパフォーマンスは向上しない。 対照的に、分類、抽出的質問応答、および複数の選択タスクは、追加の例から非常に恩恵を受けており、数百のサンプルを集めることは、しばしば数十億のパラメータ分の価値がある。
    論文  参考訳（メタデータ）   (Fri, 8 Oct 2021 20:51:52 GMT)
    • 内容は論文中の図が分かりやすく、データを増やすよりパラメータを増加させた方が精度向上に効果がある場合（例：オープンなQA）を報告している。
    • データ収集を頑張るべきかモデルサイズを大きくするなどモデル側を頑張るべきかは良く議論になる。普通は前者の方が効果的とされることが多いが、実証的に確認するべきであることを再認識する報告。論文中に指摘がある通りオープンQAの形式にするな（難しいタスクに落とし込むな）という点も重要。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です