Attentionは説明に使用できない

  • Attention cannot be an Explanation [99.4]
    私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
    論文  参考訳(メタデータ)  参考訳(全文)  (Wed, 26 Jan 2022 21:34:05 GMT)
    • 人間の評価結果をもとにAttention(モデルが注視している部分の表示によって説明しようするタイプの手法)は説明に使用できないと結論した論文。様々な立場がありうるが一つの結果として注意すべきと思う。

MILAN(Mutual-Information-guided Linguistic Annotation of Neurons)を用いたニューロンの可視化と編集

  • Natural Language Descriptions of Deep Visual Features [50.3]
    自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
    論文  参考訳(メタデータ)   (Wed, 26 Jan 2022 18:48:02 GMT)
    • ネットワーク上のニューロンの属性を言語化(自然言語での説明)でき、それを編集可能という論文。
      • XAIの文脈で説明を自然言語へ帰着するのはイマイチかなと思っていたが、監査や編集という面では良いのかもしれない。

Democratic AI: 強化学習を用いた human-in-the-loop pipelineによる再配分 

  • Human-centered mechanism design with Democratic AI [9.8]
    人間に好まれる社会メカニズムの設計に強化学習を用いるDemocratic AIと呼ばれるパイプラインを開発します。人間の好みを最適化することによって、民主的AIは、価値に合わせた政策革新の有望な方法になり得る。
    論文  参考訳(メタデータ)   (Thu, 27 Jan 2022 10:56:33 GMT)
    • オンライン投資ゲームにおける富の再配分メカニズムの設計に深層強化学習を利用、人間のレフェリーよりも好まれるメカニズムが作れたとの報告。
      • DeepMindっぽい面白い研究だと思った。人間の介入無しの“AI government”を指示しているわけではないことも強調されている。Potential limitations of Democratic AIにあるようなAIの限界に関する議論は興味深い。