- SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words [59.1]
本研究では,テキストの簡易化を継続する事前学習手法を提案する。 我々は、継続事前学習に小規模な単純なテキストデータセットを使用し、簡単な単語を識別するために2つの方法を用いる。 語彙単純化タスクと文簡略化タスクの両方においてBERTを超えるSimpleBERTを得る。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 11:28:01 GMT)- 単語をランダムにマスクするのではなく、単純な単語だけをマスクする方針で事前学習をしたBERTが通常のBERTよりテキスト簡略化タスクで有効だったという報告。
- 事前学習の戦略の工夫で最終的な性能が上がるのは直感的にもそうだと思うし実用でも研究でも重要な視点。