Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions

  • Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions [59.3]
    大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
    論文  参考訳(メタデータ)   (Thu, 28 Jul 2022 17:36:24 GMT)
    • 言語モデルにおいて[MASK]の中を共起関係(相関)で予測しているのか、意味的な背景があって予測しているのかは不明瞭である。因果推論のフレームワークで妥当に推測ができているの確認可能という報告。

Causal Machine Learning

  • Causal Machine Learning: A Survey and Open Problems [33.8]
    Causal Machine Learning (CausalML)は、データ生成過程を構造因果モデル(Structure causal model, SCM)として定式化する機械学習手法の略称である。 1) 因果関係の学習, (2) 因果関係の生成モデル, (3) 因果関係の説明, (4) 因果関係の公正性,(5) 因果関係の強化学習。
    論文  参考訳(メタデータ)   (Thu, 30 Jun 2022 17:59:15 GMT)
    • CausalMLのサーベイ。非常に詳しくサーベイというより教科書的な内容。
    • このレベルのものがCC BYで読めてしまうのはすごいと思う。

MIRACLE(Missing data Imputation Refinement And Causal LEarning): 因果関係の推論を含む欠損補間

  • MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.9]
    欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 4 Nov 2021 22:38:18 GMT)
    • 因果構造を利用して欠損補間を改善するフレームワークを提案。合成データ、実データともに改善を性能確認とのこと。
      • 欠損対応は状況によって悩ましい問題になることがあり、大きな改善をしているように見えるので再現実験をしてみたいなと思う。
    • リポジトリはhttps://github.com/vanderschaarlab/MIRACLE

IERN(Interventional Emotion Recognition Network): データセットバイアスを軽減した感情認識

  • Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.7]
    本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
    論文  参考訳(メタデータ)   (Mon, 26 Jul 2021 10:40:59 GMT)
    • 表情の変化に伴う画像の劣化(ブレやぼやけ)を感情を表す証拠と誤認識するバイアスを避けるため、因果推論のbackdoor adjustmentを実現する新しい介入感情認識ネットワークを提案。因果推論を利用する他のアプローチより優れていることを確認したとのこと。