タグ: XAI

Designing for Responsible Trust in AI Systems

  • Designing for Responsible Trust in AI Systems: A Communication Perspective [56.8]
    我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
    論文  参考訳（メタデータ）   (Fri, 29 Apr 2022 00:14:33 GMT)
    • AIシステムの信頼性が伝達される過程を「model(M) attribute」「system affordances (A) to communicate trustworthiness (T) cues (C) of the AI」「users’ cognitive processing of these cues by invoking trust-related heuristics (H)」に整理、ユースケース分析を行った報告。これら要素をまとめてMATCHと呼んでいる。
    • テクノロジーそのものよりも「AIが信頼できると伝える過程」に注目しており非常に興味深い。

LM-Debugger: 言語モデルのためのデバッガ

GNNに対するXAIのサーベイ

  • Explainability in Graph Neural Networks: An Experimental Survey [12.4]
    グラフ表現学習のためのグラフニューラルネットワーク(GNN)が広く開発されている。 GNNは、その基盤となるメカニズムを理解できないため、ブラックボックスの問題に悩まされる。 GNNによる意思決定を説明するために、いくつかのGNN説明可能性法が提案されている。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 17 Mar 2022 11:25:41 GMT)
    • Graph Neural Networkを対象にしたXAIのサーベイ。

Explainableなレコメンデーションシステムのサーベイ

  • Measuring “Why” in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.8]
    説明可能な推奨の根本的な問題は、説明を評価する方法である。 近年,様々な評価手法が提案されている。 しかし、それらは異なる論文に散在しており、体系的かつ詳細な比較が欠けている。 このギャップを埋めるために,本稿では,過去の研究を包括的にレビューし,評価の観点や評価方法によって異なる分類法を提供する。この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 14 Feb 2022 02:58:55 GMT)
    • 重要性が増しているレコメンデーションにおけるXAIでどのような評価がされされているかを整理した論文。9ページと短めのサーベイ。

コード生成のおけるXAI

  • Investigating Explainability of Generative AI for Code through Scenario-based Design [44.4]
    生成AI(GenAI)技術は成熟し、ソフトウェア工学のようなアプリケーションドメインに適用されています。 私たちは43人のソフトウェアエンジニアと9つのワークショップを開催しました。そこでは、最先端のジェネレーティブAIモデルの実例を使って、ユーザの説明可能性のニーズを導き出しました。 我々の研究は、GenAIのコードに対する説明可能性の必要性を探求し、新しいドメインにおけるXAIの技術開発を人間中心のアプローチがいかに促進するかを実証する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Feb 2022 08:52:39 GMT)
    • 最近流行りつつあるコード生成を対象としたXAIの整理。ワークショップを行い11のカテゴリを特定とのこと。通常のXAIでは見られない（具体化されていない？）項目もあって興味深い。
      • Input、Output、How(global) 、Perfomance、How to 、Control、Why / Why not、Data、System Requirement & Impact、Limitation、What if

GPTスタイルのモデルに対するニューロンタイプの同定とROME(Rank-One Model Editing)による編集

  • Locating and Editing Factual Knowledge in GPT [32.3]
    我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。 大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合（抽象的な事実を知る、具体的な言葉を言う）と一致している。 この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
    論文  参考訳（メタデータ）   (Thu, 10 Feb 2022 18:59:54 GMT)

Explainable Machine Learningにおける不一致

  • The Disagreement Problem in Explainable Machine Learning: A Practitioner’s Perspective [13.7]
    本稿では、説明可能な機械学習における不一致問題を紹介し、研究する。 このような不一致が実際にどれだけ頻繁に起こるか、そして、実践者がこれらの不一致をどのように解決するかを分析する。 以上の結果から, 現状説明法は, それらが出力する説明法と矛盾することが多いことが示唆された。
    論文  参考訳（メタデータ）   (Fri, 4 Feb 2022 01:46:00 GMT)
    • 説明手法間で説明が一致しないことが多く、その際にどう解決すべきかについて一貫した方針がないとの指摘。実践者への調査も行っている点が面白い。
    • 実務的にも大きな問題となることがあり、何らかの手法だけに頼るのは危険だなと思う。結局のところ、いろいろな手法でチェック、多角的にテストするしかない。。

Attentionは説明に使用できない

  • Attention cannot be an Explanation [99.4]
    私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 26 Jan 2022 21:34:05 GMT)
    • 人間の評価結果をもとにAttention（モデルが注視している部分の表示によって説明しようするタイプの手法）は説明に使用できないと結論した論文。様々な立場がありうるが一つの結果として注意すべきと思う。

MILAN(Mutual-Information-guided Linguistic Annotation of Neurons)を用いたニューロンの可視化と編集

  • Natural Language Descriptions of Deep Visual Features [50.3]
    自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
    論文  参考訳（メタデータ）   (Wed, 26 Jan 2022 18:48:02 GMT)
    • ネットワーク上のニューロンの属性を言語化（自然言語での説明）でき、それを編集可能という論文。
      • XAIの文脈で説明を自然言語へ帰着するのはイマイチかなと思っていたが、監査や編集という面では良いのかもしれない。

Grow-and-Clip: Explainable Question Answeringモデル

  • Grow-and-Clip: Informative-yet-Concise Evidence Distillation for Answer Explanation [22.2]
    我々は、QAモデルの解釈可能性を高めるために、解答の証拠が重要であると論じる。 我々は、証拠の概念を、情報的で簡潔で読みやすい文脈における支援事実として明確に定義する最初の人物である。 本稿では, トレードオフ情報性, 簡潔性, 可読性からエビデンスを抽出するGCEDアルゴリズムを提案する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 13 Jan 2022 17:18:17 GMT)
    • 下記5つのモジュールを用いたGrow-and-Clip Evidence Distillationアルゴリズムによる証拠の提案、人による検証結果も良好とのこと。構文解析を含むがっつりとしたパイプライン構成でE2Eでできるのはまだ先なのかなという感想。
      • Answer-oriented Sentences Extractor:  回答を得るための最小の文セットを選択
      • Question-relevant Words Selector: 上記分から質問と強く関連する単語を抽出
      • Weighted Syntactic Parsing Tree Constructor: 上記文の構文ツリーを作成
      • Evidence Forest Constructor: 質問に関連する単語、ツリー構造を用いてエビデンスとなりうる複数のツリーと回答となるツリーを構成
      • Optimal Evidence Distiller: エビデンスツリーの選択