タグ: XAI

XAI-Bench：XAIの評価指標とベンチマークデータ

  • Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.2]
    我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
    論文  参考訳（メタデータ）   (Wed, 23 Jun 2021 17:10:21 GMT)
    • XAIのベンチマークのため指標をまとめ、合成データセットを作成したとの報告。XAIの評価は難しくこのような取り組みは重要。リアルなデータではベンチマーク構築が難しいことから合成データを用いている。LIMEが良い結果になっていてやや意外ではあった。
    • データ、コード等はhttps://github.com/abacusai/xai-benchから確認可能

理由を説明するベンチマーク・モデル

  • e-ViL: A Dataset and Benchmark for Natural Language Explanations in Vision-Language Tasks [52.9]
    説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。 また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。 画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
    論文  参考訳（メタデータ）   (Sat, 8 May 2021 18:46:33 GMT)
    • 画像＋自然言語の予測に対して、その理由を説明するためのデータセットとモデル。例えば、「人がぬいぐるみのライオンを抱えている画像」「男性はリアルなライオンを抱えている」「矛盾」という組み合わせに対し「説明：ぬいぐるみのライオンはリアルのライオンではない」がペアになっているよう。
    • https://github.com/maximek3/e-ViL

AIアルゴリズムからバイアスを見つける

  • Discover the Unknown Biased Attribute of an Image Classifier [39.8]
    最近の研究では、AIアルゴリズムはデータからバイアスを学習する。 AIアルゴリズムのバイアスを特定することは緊急かつ不可欠である。 以前のバイアス識別パイプラインは、潜在的なバイアスを推測するために人間の専門家に依存している。 人間の専門家がAIアルゴリズムのバイアスをよりよく見つけるのを助けるために、この研究で新しい問題を研究する。入力画像のターゲット属性を予測する分類器で、その未知のバイアス属性を発見する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 29 Apr 2021 17:59:30 GMT)

GANを使ったXAI

  • Explaining in Style: Training a GAN to explain a classifier in StyleSpace [75.8]
    本稿では,画像の意味的属性を説明するための生成モデルの学習法であるstylexを提案する。 StylExは、セマンティックとよく調和し、意味のある画像固有の説明を生成し、人間に解釈できる属性を見つけます。 その結果,この手法はセマンティックとよく一致し,意味のある画像特異的な説明を生成し,人間と解釈できる属性を見出した。
    論文  参考訳（メタデータ）   (Tue, 27 Apr 2021 17:57:19 GMT)
    • GANを使って人が理解可能な説明をしようという研究。サンプル画像が興味深い。

AutoMLの評価、トレーディングデータの取り扱い

  • Model LineUpper: Supporting Interactive Model Comparison at Multiple Levels for AutoML [29.0]
    現在のAutoMLシステムでは、選択はパフォーマンスメトリックによってのみサポートされる。 複数のXAI(Explainable AI)と可視化技術を組み合わせることで、AutoMLのインタラクティブなモデル比較を支援するツールを開発しています。
    論文  参考訳（メタデータ）   (Fri, 9 Apr 2021 14:06:13 GMT)
    • 機械的なメトリクスだけでなく、XAI的な視点を追加したツールが重要との話。その通りと思う一方で人への依存性は弱点にもなりうるのでユースケース次第という印象。
  • CLVSA: A Convolutional LSTM Based Variational Sequence-to-Sequence Model with Attention for Predicting Trends of Financial Markets [12.0]
    生の金融トレーディングデータの特徴を変動的に捉えるハイブリッドモデルであるCLVSAを提案する。CLVSAは確率的リカレント・ネットワーク、シーケンス・ツー・シーケンス・アーキテクチャ、自己・内部アテンション機構、畳み込みLSTMユニットから構成されるハイブリッドモデルであり、生の金融取引データにおける変動基盤の特徴を捉える。 実験の結果、近似的な後段処理の導入により、kullback-leibler ダイバージェンスに基づく正規化を活用し、過学習を防止することができた。
    論文  参考訳（メタデータ）   (Thu, 8 Apr 2021 20:31:04 GMT)
    • 金融取引データの特徴を捉えるDeep Learning系モデルの話。堅牢にリターンを得たという実験結果はほんまかいな？と思うが、興味深い結果ではある。