ferret: a Framework for Benchmarking Explainers on Transformers

  • ferret: a Framework for Benchmarking Explainers on Transformers [12.1]
    我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすいPythonライブラリであるferretを紹介した。 統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
    論文  参考訳(メタデータ)   (Tue, 2 Aug 2022 16:21:42 GMT)

不公平なモデルをエビデンス付きで指摘するタスク:Revealing Unfair Models by mining Interpretable Evidence (RUMIE)

  • Revealing Unfair Models by Mining Interpretable Evidence [50.5]
    機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
    論文  参考訳(メタデータ)   (Tue, 12 Jul 2022 20:03:08 GMT)
    • 不公平さをエビデンス付きで明らかにするタスク・手法の提案
    • 社会実装のために重要な技術であると思う

Explainable AIを評価する視点

  • Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.4]
    説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
    論文  参考訳(メタデータ)   (Wed, 22 Jun 2022 05:17:33 GMT)
    • XAIの「説明」が良いか悪いかはユーザ(とその目的)によって異なることが指摘されている。良い説明とは何かをユーザを軸として整理したサーベイ。これでOKという結論があるものではないが、「良い説明とは何か?」を考えるうえでとても勉強になる。
      • 評価の特性として「Faithfulness」「Completeness」「Stability」「Compactness」「(Un)Certainty (communication)」「Interactivity」「Translucence」「Comprehensibility」「Actionability」「Coherence」「Novelty」「Personalization」が挙げられていて、考慮事項が非常に多いことが分かる。

信頼されるGraph Neural Networksのサーベイ

  • Trustworthy Graph Neural Networks: Aspects, Methods and Trends [108.0]
    グラフニューラルネットワーク(GNN)は,さまざまな実世界のシナリオに対して,有能なグラフ学習手法として登場した。 パフォーマンス指向のGNNは、敵の攻撃に対する脆弱性のような潜在的な副作用を示す。 こうした意図しない害を避けるためには、信頼度に特徴付けられる有能なGNNを構築する必要がある。
    論文  参考訳(メタデータ)   (Mon, 16 May 2022 02:21:09 GMT)
    • グラフニューラルネットワークについて robustness, explainability, privacy, fairness, accountability, environmental well-beingの6つの観点を整理したサーベイ。
    • グラフデータという特殊なデータであるが故の対応など非常に勉強になる。

Designing for Responsible Trust in AI Systems

  • Designing for Responsible Trust in AI Systems: A Communication Perspective [56.8]
    我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
    論文  参考訳(メタデータ)   (Fri, 29 Apr 2022 00:14:33 GMT)
    • AIシステムの信頼性が伝達される過程を「model(M) attribute」「system affordances (A) to communicate trustworthiness (T) cues (C) of the AI」「users’ cognitive processing of these cues by invoking trust-related heuristics (H)」に整理、ユースケース分析を行った報告。これら要素をまとめてMATCHと呼んでいる。
    • テクノロジーそのものよりも「AIが信頼できると伝える過程」に注目しており非常に興味深い。

LM-Debugger: 言語モデルのためのデバッガ

GNNに対するXAIのサーベイ

  • Explainability in Graph Neural Networks: An Experimental Survey [12.4]
    グラフ表現学習のためのグラフニューラルネットワーク(GNN)が広く開発されている。 GNNは、その基盤となるメカニズムを理解できないため、ブラックボックスの問題に悩まされる。 GNNによる意思決定を説明するために、いくつかのGNN説明可能性法が提案されている。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 17 Mar 2022 11:25:41 GMT)
    • Graph Neural Networkを対象にしたXAIのサーベイ。

Explainableなレコメンデーションシステムのサーベイ

  • Measuring “Why” in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.8]
    説明可能な推奨の根本的な問題は、説明を評価する方法である。 近年,様々な評価手法が提案されている。 しかし、それらは異なる論文に散在しており、体系的かつ詳細な比較が欠けている。 このギャップを埋めるために,本稿では,過去の研究を包括的にレビューし,評価の観点や評価方法によって異なる分類法を提供する。この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
    論文  参考訳(メタデータ)  参考訳(全文)  (Mon, 14 Feb 2022 02:58:55 GMT)
    • 重要性が増しているレコメンデーションにおけるXAIでどのような評価がされされているかを整理した論文。9ページと短めのサーベイ。

コード生成のおけるXAI

  • Investigating Explainability of Generative AI for Code through Scenario-based Design [44.4]
    生成AI(GenAI)技術は成熟し、ソフトウェア工学のようなアプリケーションドメインに適用されています。 私たちは43人のソフトウェアエンジニアと9つのワークショップを開催しました。そこでは、最先端のジェネレーティブAIモデルの実例を使って、ユーザの説明可能性のニーズを導き出しました。 我々の研究は、GenAIのコードに対する説明可能性の必要性を探求し、新しいドメインにおけるXAIの技術開発を人間中心のアプローチがいかに促進するかを実証する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 10 Feb 2022 08:52:39 GMT)
    • 最近流行りつつあるコード生成を対象としたXAIの整理。ワークショップを行い11のカテゴリを特定とのこと。通常のXAIでは見られない(具体化されていない?)項目もあって興味深い。
      • Input、Output、How(global) 、Perfomance、How to 、Control、Why / Why not、Data、System Requirement & Impact、Limitation、What if

GPTスタイルのモデルに対するニューロンタイプの同定とROME(Rank-One Model Editing)による編集

  • Locating and Editing Factual Knowledge in GPT [32.3]
    我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。 大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合(抽象的な事実を知る、具体的な言葉を言う)と一致している。 この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
    論文  参考訳(メタデータ)   (Thu, 10 Feb 2022 18:59:54 GMT)