バイト列(トークン化なし)でのT5

  • ByT5: Towards a token-free future with pre-trained byte-to-byte models [23.5]
    最も広く使われている事前訓練言語モデルは、単語またはサブワード単位に対応するトークンのシーケンスで動作する。 標準的な Transformer アーキテクチャは,バイト列の処理に最小限の修正を加えて使用できることを示す。 また、バイトレベルのモデルはノイズに対して著しく堅牢であり、スペルや発音に敏感なタスクでも性能が向上することを示した。
    論文  参考訳(メタデータ)   (Fri, 28 May 2021 07:03:22 GMT)

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です