- A Survey on Long Text Modeling with Transformers [33.9]
本稿では,Transformerモデルに基づく長文モデリングの最近の進歩について概説する。 長さ制限を満たすために長い入力を処理し、改良されたTransformerアーキテクチャを設計する方法について論じる。 本稿では,長文モデリングに関わる4つの典型的な応用について述べるとともに,今後の方向性を議論する。
論文 参考訳（メタデータ） (Tue, 28 Feb 2023 11:34:30 GMT) - 長文モデリングに関するサーベイ。近年の研究成果で緩和されている部分も大きいが以前重要なテーマ。
- 対象としている典型的な応用はテキスト要約、質問応答、テキスト分類、テキストマッチングの4つ。