タグ: 因果推論

Causal Understanding by LLMs: The Role of Uncertainty 

  • Causal Understanding by LLMs: The Role of Uncertainty [43.9]
    近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
    論文  参考訳（メタデータ）   (Wed, 24 Sep 2025 13:06:35 GMT)
  • LLMを因果関係を整理可能かの検証、「 uncertainty in causal tasks stems primarily from deficits in causal under- standing rather than limitations in memorization.」、「Addressing these limitations will require a shift beyond current pretraining paradigms—toward models that explicitly encode and reason over causal structures, and that are capable of expressing calibrated uncertainty when faced with ambiguity or unseen conditions.」と厳しい指摘。
  • テストしているものがフロンティアなモデルなのかは気になるところではある。（もっとも商用モデルだとデータ、pre trainもpost trainもよくわからないという問題はあるのだが。。。）

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

  • CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models [42.1]
    因果注意チューニング(Causal Attention Tuning, CAT)は、注意機構に微粒な因果知識を注入する新しいアプローチである。 トークンレベルの因果信号を自動的に生成するために,人間の先行情報を活用する自動パイプラインを提案する。 CatはSTGデータセットで5.76%、下流タスクで1.56%の平均的な改善を実現している。
    論文  参考訳（メタデータ）   (Tue, 09 Sep 2025 04:01:50 GMT)
  • 「(1) causal prior knowledge extraction 」「(2) causal constraint attention training.」からなる因果関係の投入
  • リポジトリはGitHub – Kairong-Han/CAT

ReTimeCausal: EM-Augmented Additive Noise Models for Interpretable Causal Discovery in Irregular Time Series

  • ReTimeCausal: EM-Augmented Additive Noise Models for Interpretable Causal Discovery in Irregular Time Series [32.2]
    本稿では, 金融, 医療, 気候科学などの高度領域における不規則サンプル時系列における因果発見について検討する。 ReTimeCausalは,物理誘導型データ計算と疎因性推論を統一する付加雑音モデル(ANM)と期待最大化(EM)の新たな統合である。
    論文  参考訳（メタデータ）   (Fri, 04 Jul 2025 05:39:50 GMT)
  • 不規則にサンプリングされた時系列データを対象としたcausal discovery の報告。「we propose ReTimeCausal (Recovery for Irregular Time- series Causal Discovery). ReTimeCausal integrates Additive Noise Models (ANMs) with an Expectation-Maximization (EM) framework to jointly perform noise-aware data imputation and causal structure learning.」とのこと。

SPARTAN: SPARse TrANsformer World model

  • SPARTAN: A Sparse Transformer Learning Local Causation [63.3]
    因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
    論文  参考訳（メタデータ）   (Mon, 11 Nov 2024 11:42:48 GMT)
  • 「Conceptually, we argue that in order to perform efficient adaptation, world models should be structured to reflect the underlying sparse causal structure of the observed dynamics, and that these structures should be local.」のもと、「we propose SPARTAN, a structured world model that jointly performs dynamics model learning and causal discovery.」とのこと。
  • Language Models as Causal Effect Generators [44.8]
    制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。 我々は、任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動構造因果モデル(SD-SCM)に変換する手順を定義する。
    論文  参考訳（メタデータ）   (Tue, 12 Nov 2024 18:50:35 GMT)
  • こちらはLLM＋DAGでsequence-driven structural causal modelを作るアプローチ

因果グラフ＋LLMという話はとても興味深い。

Improving Causal Reasoning in Large Language Models: A Survey、LLM-based Optimization of Compound AI Systems: A Survey

因果推論や最適化の分野でもLLMが活用されつつある。

  • LLM-based Optimization of Compound AI Systems: A Survey [64.4]
    複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
    論文  参考訳（メタデータ）   (Mon, 21 Oct 2024 18:06:25 GMT)

Causal Inference Using LLM-Guided Discovery

Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation

  • Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation [137.4]
    本稿では,GFlowNetsに基づく6つの因果探索手法と新たな手法を提案する。 治療効果推定におけるこれらの因果発見法の有効性について貴重な知見を提供する。 本研究の結果から,GFlowNets は多種多様な ATE モードを効果的に捉えることができることを示した。
    論文  参考訳（メタデータ）   (Tue, 11 Jul 2023 02:58:10 GMT)
  • Causal discovery手法の評価、性能指標的にはかなり微妙＆結構なブレ幅があるように見えるがこれを有効といってよいのだろうか、、、

PyRCA: Root Cause Analysisライブラリ

  • PyRCA: A Library for Metric-based Root Cause Analysis [66.7]
    PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
    論文  参考訳（メタデータ）   (Tue, 20 Jun 2023 09:55:10 GMT)
  • インシデントの根本原因を探っていくためのRoot Cause Analysisのためのライブラリ
  • 基本的には難しい問題のはずだが、この問題を取り扱うための素材はそろってきている感はある。
  • GitHub – salesforce/PyRCA: PyRCA: A Python Machine Learning Library for Root Cause Analysis

信頼できるAIとCausality

  • A Review of the Role of Causality in Developing Trustworthy AI Systems [16.3]
    最先端のAIモデルは、現実世界の人間の理解を支配する因果関係の理解がほとんどない。 近年,AIモデルの信頼性を向上するための強力なツールとして因果モデリングや推論手法が登場している。
    論文  参考訳（メタデータ）   (Tue, 14 Feb 2023 11:08:26 GMT)
  • Trustworthy AIに対する因果推論や因果モデリングの役割を整理したサーベイ
  • Interpretability、Fairness、Robustness、Privacy、Safety and Accountability(Auditing)に対する因果性の効果が整理されている

Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions

  • Measuring Causal Effects of Data Statistics on Language Model’s `Factual’ Predictions [59.3]
    大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
    論文  参考訳（メタデータ）   (Thu, 28 Jul 2022 17:36:24 GMT)
    • 言語モデルにおいて[MASK]の中を共起関係（相関）で予測しているのか、意味的な背景があって予測しているのかは不明瞭である。因果推論のフレームワークで妥当に推測ができているの確認可能という報告。