タグ: 因果推論

SPARTAN: SPARse TrANsformer World model

  • SPARTAN: A Sparse Transformer Learning Local Causation [63.3]
    因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
    論文  参考訳（メタデータ）   (Mon, 11 Nov 2024 11:42:48 GMT)
  • 「Conceptually, we argue that in order to perform efficient adaptation, world models should be structured to reflect the underlying sparse causal structure of the observed dynamics, and that these structures should be local.」のもと、「we propose SPARTAN, a structured world model that jointly performs dynamics model learning and causal discovery.」とのこと。
  • Language Models as Causal Effect Generators [44.8]
    制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。 我々は、任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動構造因果モデル(SD-SCM)に変換する手順を定義する。
    論文  参考訳（メタデータ）   (Tue, 12 Nov 2024 18:50:35 GMT)
  • こちらはLLM＋DAGでsequence-driven structural causal modelを作るアプローチ

因果グラフ＋LLMという話はとても興味深い。

Improving Causal Reasoning in Large Language Models: A Survey、LLM-based Optimization of Compound AI Systems: A Survey

因果推論や最適化の分野でもLLMが活用されつつある。

  • LLM-based Optimization of Compound AI Systems: A Survey [64.4]
    複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
    論文  参考訳（メタデータ）   (Mon, 21 Oct 2024 18:06:25 GMT)

Causal Inference Using LLM-Guided Discovery

Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation

  • Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation [137.4]
    本稿では,GFlowNetsに基づく6つの因果探索手法と新たな手法を提案する。 治療効果推定におけるこれらの因果発見法の有効性について貴重な知見を提供する。 本研究の結果から,GFlowNets は多種多様な ATE モードを効果的に捉えることができることを示した。
    論文  参考訳（メタデータ）   (Tue, 11 Jul 2023 02:58:10 GMT)
  • Causal discovery手法の評価、性能指標的にはかなり微妙＆結構なブレ幅があるように見えるがこれを有効といってよいのだろうか、、、

PyRCA: Root Cause Analysisライブラリ

  • PyRCA: A Library for Metric-based Root Cause Analysis [66.7]
    PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
    論文  参考訳（メタデータ）   (Tue, 20 Jun 2023 09:55:10 GMT)
  • インシデントの根本原因を探っていくためのRoot Cause Analysisのためのライブラリ
  • 基本的には難しい問題のはずだが、この問題を取り扱うための素材はそろってきている感はある。
  • GitHub – salesforce/PyRCA: PyRCA: A Python Machine Learning Library for Root Cause Analysis

信頼できるAIとCausality

  • A Review of the Role of Causality in Developing Trustworthy AI Systems [16.3]
    最先端のAIモデルは、現実世界の人間の理解を支配する因果関係の理解がほとんどない。 近年,AIモデルの信頼性を向上するための強力なツールとして因果モデリングや推論手法が登場している。
    論文  参考訳（メタデータ）   (Tue, 14 Feb 2023 11:08:26 GMT)
  • Trustworthy AIに対する因果推論や因果モデリングの役割を整理したサーベイ
  • Interpretability、Fairness、Robustness、Privacy、Safety and Accountability(Auditing)に対する因果性の効果が整理されている

Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions

  • Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions [59.3]
    大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
    論文  参考訳（メタデータ）   (Thu, 28 Jul 2022 17:36:24 GMT)
    • 言語モデルにおいて[MASK]の中を共起関係（相関）で予測しているのか、意味的な背景があって予測しているのかは不明瞭である。因果推論のフレームワークで妥当に推測ができているの確認可能という報告。

Causal Machine Learning

  • Causal Machine Learning: A Survey and Open Problems [33.8]
    Causal Machine Learning (CausalML)は、データ生成過程を構造因果モデル(Structure causal model, SCM)として定式化する機械学習手法の略称である。 1) 因果関係の学習, (2) 因果関係の生成モデル, (3) 因果関係の説明, (4) 因果関係の公正性,(5) 因果関係の強化学習。
    論文  参考訳（メタデータ）   (Thu, 30 Jun 2022 17:59:15 GMT)
    • CausalMLのサーベイ。非常に詳しくサーベイというより教科書的な内容。
    • このレベルのものがCC BYで読めてしまうのはすごいと思う。

MIRACLE(Missing data Imputation Refinement And Causal LEarning): 因果関係の推論を含む欠損補間

  • MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.9]
    欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 4 Nov 2021 22:38:18 GMT)
    • 因果構造を利用して欠損補間を改善するフレームワークを提案。合成データ、実データともに改善を性能確認とのこと。
      • 欠損対応は状況によって悩ましい問題になることがあり、大きな改善をしているように見えるので再現実験をしてみたいなと思う。
    • リポジトリはhttps://github.com/vanderschaarlab/MIRACLE

IERN(Interventional Emotion Recognition Network): データセットバイアスを軽減した感情認識

  • Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.7]
    本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
    論文  参考訳（メタデータ）   (Mon, 26 Jul 2021 10:40:59 GMT)
    • 表情の変化に伴う画像の劣化（ブレやぼやけ）を感情を表す証拠と誤認識するバイアスを避けるため、因果推論のbackdoor adjustmentを実現する新しい介入感情認識ネットワークを提案。因果推論を利用する他のアプローチより優れていることを確認したとのこと。