タグ: CausalNLP

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

  • CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models [42.1]
    因果注意チューニング(Causal Attention Tuning, CAT)は、注意機構に微粒な因果知識を注入する新しいアプローチである。 トークンレベルの因果信号を自動的に生成するために,人間の先行情報を活用する自動パイプラインを提案する。 CatはSTGデータセットで5.76%、下流タスクで1.56%の平均的な改善を実現している。
    論文  参考訳（メタデータ）   (Tue, 09 Sep 2025 04:01:50 GMT)
  • 「(1) causal prior knowledge extraction 」「(2) causal constraint attention training.」からなる因果関係の投入
  • リポジトリはGitHub – Kairong-Han/CAT

CausalVLRとLLMを用いた因果グラフの同定

  • CausalVLR: A Toolbox and Benchmark for Visual-Linguistic Causal Reasoning [120.6]
    CausalVLR(Causal Visual-Linguistic Reasoning)は、最先端の因果関係の発見と因果推論方法の豊富なセットを含むオープンソースのツールボックスである。 これらのメソッドはNVIDIAコンピューティングシステムの下でPyTorchを実装したツールボックスに含まれている。
    論文  参考訳（メタデータ）   (Fri, 30 Jun 2023 08:17:38 GMT)
  • 因果関係の発見と因果推論を言語/画像の面で処理できるツールの詰め合わせ。
  • リポジトリはGitHub – HCPLab-SYSU/CausalVLR: CausalVLR: A Toolbox and Benchmark for Visual-Linguistic Causal Reasoning
  • Causal Discovery with Language Models as Imperfect Experts [119.2]
    専門知識を用いて因果グラフの同定を改善する方法について検討する。 整合性に基づく専門家の知識を改良するための戦略を提案する。 本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
    論文  参考訳（メタデータ）   (Wed, 5 Jul 2023 16:01:38 GMT)
  • 別の研究でLLMを用いた因果グラフの道程に関する論文も出ていた。LLMを完全ではない専門家として用いる場合のケーススタディがあり、専門家ほどではないが一定の効果はありそうとのこと。

CORR2CAUSE

  • Can Large Language Models Infer Causation from Correlation? [49.2]
    大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
    論文  参考訳（メタデータ）   (Fri, 9 Jun 2023 12:09:15 GMT)
  • 相関から因果関係を決定するタスクの提案、LLMにとって非常に難しいタスクでありGPT-4でもかなり低スコア。finetuneするとスコアが大幅に向上するが堅牢さは十分でない点も興味深い。
  • リポジトリはGitHub – causalNLP/corr2cause: Data and code for the CausalNLI dataset paper