- Pre-Trained Models: Past, Present and Future [8.5]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。 本稿ではトランスファーラーニングと自己教師型学習との関係を深く考察しPTMの重要位置を明らかにしPTMの最新のブレークスルーを概観する。最後に, PTM の一連のオープンな問題と研究方向性について論じるとともに今後の研究に刺激を与え, 進展を期待する。
論文 参考訳（メタデータ） (Mon, 14 Jun 2021 02:40:32 GMT)- 事前学習モデルの現状をまとめた論文。広範な内容が整理されている。長めに見えるがそれぞれのパートは簡潔であり、この分野を概観するために非常に良い資料だと思う。