- PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.2]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (Sat, 25 Jun 2022 05:38:39 GMT)- 重要性と不確実性の両方を考慮しながらPruningを行う手法の提案。BERT、ViT-B16を用いて有効性を検証、既存手法を上回る性能を出したとのこと。
- リポジトリはQingruZhang/PLATON · GitHubとのことだが、現時点ではソースなどは公開されていない。