- Embedding Recycling for Language Models [38.1]
我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55～86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 11 Jul 2022 16:36:14 GMT)- layerを凍結させるのではなく、出力をキャッシュして学習等を高速化する仕組みの提案。（当然ながら）最初にデータすべてのrepresantaionを計算する必要がある。
- リポジトリはGitHub – allenai/EmbeddingRecycling