2022年10月18日 – arXiv最新論文の紹介

A Win-win Deal: Towards Sparse and Robust Pre-trained Language Models [53.9]
大規模言語モデル(PLM)はメモリフットプリントと計算の点で非効率である。 PLMはデータセットバイアスに頼り、アウト・オブ・ディストリビューション(OOD)データへの一般化に苦慮する傾向にある。最近の研究では、高密度PLMは、性能を損なうことなくスパースサブネットに置き換えることができることが示されている。
論文参考訳（メタデータ） (Tue, 11 Oct 2022 07:26:34 GMT)
- BERTを対象として、データセットバイアスに対してスパースかつロバストなサブネットワークが存在するとの報告。
- リポジトリはllyx97/sparse-and-robust-PLM: [NeurIPS 2022] “A Win-win Deal: Towards Sparse and Robust Pre-trained Language Models”, Yuanxin Liu, Fandong Meng, Zheng Lin, Jiangnan Li, Peng Fu, Yanan Cao, Weiping Wang, Jie Zhou (github.com)

An Empirical Study on Finding Spans [31.4]
エンド・ツー・エンドの情報抽出システムのトレーニングに活用できるアプローチに着目する。タスク特性を考慮せずに、すべての下流タスクをうまく解決できる銀の弾丸がないことを認識します。
論文参考訳（メタデータ） (Thu, 13 Oct 2022 08:15:48 GMT)
- Named Entity Recognition (NER)、Event Extraction (EE)、Relation Extraction (RE)、Coreference Resolution (CR)といったスパンを発見するタスク（典型的には下記）に関するサーベイ
- 当然かもだが銀の弾丸はない「we found that there is not a single recipe that is best for all scenarios」とのこと