- MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.0]
現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
論文 参考訳（メタデータ） (Thu, 28 Jul 2022 07:39:30 GMT)- 軍事のように通常のテキストとは大きく異なるドメイン向けの事前学習モデルの提案。軍事関連の外部知識を取り入れるためにマスキング戦略を修正している。
- ドメイン特化により（当然だが）性能が向上するとのこと。