タグ: 因果推論

TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models / Does TabPFN Understand Causal Structures? / TransactionGPT 

  • TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models [76.5]
    TabPFN-2.5は5万のデータポイントと2,000の機能を持つデータセット用に構築されている。 チューニングされたツリーベースモデルとAutoGluon 1.4の精度を大幅に上回った。 生産用として,TabPFN-2.5を小型または木製アンサンブルに変換する新しい蒸留エンジンを導入する。
    論文  参考訳（メタデータ）   (Thu, 13 Nov 2025 01:01:46 GMT)
  • テーブルデータに対する基盤モデルの提案、TabArena – a Hugging Face Space by TabArenaで「TabPFN-2.5 is now the leading method for the industry standard benchmark TabArena (which contains datasets with up to 100,000 training data points), substantially outperforming tuned tree-based models and matching the accuracy of AutoGluon 1.4, a complex four-hour tuned ensemble that even includes the previous TabPFNv2. Remarkably, default TabPFN-2.5 has a 100% win rate against default XGBoost on small to medium-sized classification datasets (≤10,000 data points, 500 features) and a 87% win rate on larger datasets up to 100K samples and 2K features (85% for regression).」と高性能を主張
  • Prior Labs
  • Does TabPFN Understand Causal Structures? [40.2]
    本研究では,TabPFNが内部表現に因果情報をエンコードするかどうかを検討する。 学習可能なデコーダと因果トークンを用いたアダプタフレームワークを開発した。 評価の結果,TabPFNの埋め込みには因果情報が含まれており,従来の因果発見アルゴリズムよりも優れていることがわかった。
    論文  参考訳（メタデータ）   (Mon, 10 Nov 2025 15:53:15 GMT)
  • 「We show that TabPFN’s embeddings contain causal information and that our adaptor framework outperforms traditional causal discovery algorithms when causal information is extracted from mid- range layers. This further promotes leveraging pre-trained tabular models for extracting causal structures, improving the interpretability of these models, and aiding in scientific discovery.」と興味深い性質を報告。
  • TransactionGPT [41.9]
    TransactionGPTは、世界最大の決済ネットワーク内のコンシューマトランザクションデータの基盤モデルである。 本稿では,支払いトランザクションデータの複雑なダイナミクスを捉えるために,新しい3D-Transformerアーキテクチャを提案する。
    論文  参考訳（メタデータ）   (Thu, 13 Nov 2025 01:20:09 GMT)
  • Visa Researchによる基盤モデル。「TransactionGPT (TGPT), a foundation model that captures complex consumer shopping dynamics from Multi-Modal-Temporal-Tabular (MMTT) data.」、「Extensive experiments on large-scale, real-world payment data validate TGPT’s ability to learn meaningful transaction patterns, leading to significant performance improve- ments on critical downstream tasks. Furthermore, we quantify the benefits of several designs that enhance the TGPT’s efficiency and scalability.」とのこと。

Causal Understanding by LLMs: The Role of Uncertainty 

  • Causal Understanding by LLMs: The Role of Uncertainty [43.9]
    近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
    論文  参考訳（メタデータ）   (Wed, 24 Sep 2025 13:06:35 GMT)
  • LLMを因果関係を整理可能かの検証、「 uncertainty in causal tasks stems primarily from deficits in causal under- standing rather than limitations in memorization.」、「Addressing these limitations will require a shift beyond current pretraining paradigms—toward models that explicitly encode and reason over causal structures, and that are capable of expressing calibrated uncertainty when faced with ambiguity or unseen conditions.」と厳しい指摘。
  • テストしているものがフロンティアなモデルなのかは気になるところではある。（もっとも商用モデルだとデータ、pre trainもpost trainもよくわからないという問題はあるのだが。。。）

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

  • CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models [42.1]
    因果注意チューニング(Causal Attention Tuning, CAT)は、注意機構に微粒な因果知識を注入する新しいアプローチである。 トークンレベルの因果信号を自動的に生成するために,人間の先行情報を活用する自動パイプラインを提案する。 CatはSTGデータセットで5.76%、下流タスクで1.56%の平均的な改善を実現している。
    論文  参考訳（メタデータ）   (Tue, 09 Sep 2025 04:01:50 GMT)
  • 「(1) causal prior knowledge extraction 」「(2) causal constraint attention training.」からなる因果関係の投入
  • リポジトリはGitHub – Kairong-Han/CAT

ReTimeCausal: EM-Augmented Additive Noise Models for Interpretable Causal Discovery in Irregular Time Series

  • ReTimeCausal: EM-Augmented Additive Noise Models for Interpretable Causal Discovery in Irregular Time Series [32.2]
    本稿では, 金融, 医療, 気候科学などの高度領域における不規則サンプル時系列における因果発見について検討する。 ReTimeCausalは,物理誘導型データ計算と疎因性推論を統一する付加雑音モデル(ANM)と期待最大化(EM)の新たな統合である。
    論文  参考訳（メタデータ）   (Fri, 04 Jul 2025 05:39:50 GMT)
  • 不規則にサンプリングされた時系列データを対象としたcausal discovery の報告。「we propose ReTimeCausal (Recovery for Irregular Time- series Causal Discovery). ReTimeCausal integrates Additive Noise Models (ANMs) with an Expectation-Maximization (EM) framework to jointly perform noise-aware data imputation and causal structure learning.」とのこと。

SPARTAN: SPARse TrANsformer World model

  • SPARTAN: A Sparse Transformer Learning Local Causation [63.3]
    因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
    論文  参考訳（メタデータ）   (Mon, 11 Nov 2024 11:42:48 GMT)
  • 「Conceptually, we argue that in order to perform efficient adaptation, world models should be structured to reflect the underlying sparse causal structure of the observed dynamics, and that these structures should be local.」のもと、「we propose SPARTAN, a structured world model that jointly performs dynamics model learning and causal discovery.」とのこと。
  • Language Models as Causal Effect Generators [44.8]
    制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。 我々は、任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動構造因果モデル(SD-SCM)に変換する手順を定義する。
    論文  参考訳（メタデータ）   (Tue, 12 Nov 2024 18:50:35 GMT)
  • こちらはLLM＋DAGでsequence-driven structural causal modelを作るアプローチ

因果グラフ＋LLMという話はとても興味深い。

Improving Causal Reasoning in Large Language Models: A Survey、LLM-based Optimization of Compound AI Systems: A Survey

因果推論や最適化の分野でもLLMが活用されつつある。

  • LLM-based Optimization of Compound AI Systems: A Survey [64.4]
    複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
    論文  参考訳（メタデータ）   (Mon, 21 Oct 2024 18:06:25 GMT)

Causal Inference Using LLM-Guided Discovery

Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation

  • Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation [137.4]
    本稿では,GFlowNetsに基づく6つの因果探索手法と新たな手法を提案する。 治療効果推定におけるこれらの因果発見法の有効性について貴重な知見を提供する。 本研究の結果から,GFlowNets は多種多様な ATE モードを効果的に捉えることができることを示した。
    論文  参考訳（メタデータ）   (Tue, 11 Jul 2023 02:58:10 GMT)
  • Causal discovery手法の評価、性能指標的にはかなり微妙＆結構なブレ幅があるように見えるがこれを有効といってよいのだろうか、、、

PyRCA: Root Cause Analysisライブラリ

  • PyRCA: A Library for Metric-based Root Cause Analysis [66.7]
    PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
    論文  参考訳（メタデータ）   (Tue, 20 Jun 2023 09:55:10 GMT)
  • インシデントの根本原因を探っていくためのRoot Cause Analysisのためのライブラリ
  • 基本的には難しい問題のはずだが、この問題を取り扱うための素材はそろってきている感はある。
  • GitHub – salesforce/PyRCA: PyRCA: A Python Machine Learning Library for Root Cause Analysis

信頼できるAIとCausality

  • A Review of the Role of Causality in Developing Trustworthy AI Systems [16.3]
    最先端のAIモデルは、現実世界の人間の理解を支配する因果関係の理解がほとんどない。 近年,AIモデルの信頼性を向上するための強力なツールとして因果モデリングや推論手法が登場している。
    論文  参考訳（メタデータ）   (Tue, 14 Feb 2023 11:08:26 GMT)
  • Trustworthy AIに対する因果推論や因果モデリングの役割を整理したサーベイ
  • Interpretability、Fairness、Robustness、Privacy、Safety and Accountability(Auditing)に対する因果性の効果が整理されている