コンテンツへスキップ
- Pre-Trained Models: Past, Present and Future [8.5]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。 本稿ではトランスファーラーニングと自己教師型学習との関係を深く考察しPTMの重要位置を明らかにしPTMの最新のブレークスルーを概観する。最後に, PTM の一連のオープンな問題と研究方向性について論じるとともに今後の研究に刺激を与え, 進展を期待する。
論文 参考訳（メタデータ） (Mon, 14 Jun 2021 02:40:32 GMT)- 事前学習モデルの現状をまとめた論文。広範な内容が整理されている。長めに見えるがそれぞれのパートは簡潔であり、この分野を概観するために非常に良い資料だと思う。
- GPT3-to-plan: Extracting plans from text using GPT-3 [24.6]
GPT-3は現在行われている技術計画抽出手法に匹敵する計画抽出結果を生成することができることを示す。 本稿では,そのようなテキストから直接抽出を行う際の一般化言語モデルの有用性について検討する。
論文 参考訳（メタデータ） (Mon, 14 Jun 2021 01:45:47 GMT)- GPT-3を用いて自然言語で書かれたマニュアル等からアクションシーケンスを抽出しシステムによる自動化に使おうという研究。GPT-3はbefore, after, first, anytime, eventuallyなど順序性を認識しているように見えるとのこと。