Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions

  • Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions [59.3]
    大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
    論文  参考訳(メタデータ)   (Thu, 28 Jul 2022 17:36:24 GMT)
    • 言語モデルにおいて[MASK]の中を共起関係(相関)で予測しているのか、意味的な背景があって予測しているのかは不明瞭である。因果推論のフレームワークで妥当に推測ができているの確認可能という報告。

コメントを残す

メールアドレスが公開されることはありません。