- Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.1]
事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。 本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。 入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
論文 参考訳（メタデータ） (Wed, 13 Oct 2021 04:29:14 GMT)- Wiktionaryを使用してレアなワードの定義をテキストの末尾に連結することで事前学習モデル（の下流タスクにおける）性能が向上したとの報告。実際に人間が辞書を引いているような動きであることが興味深い。