Responsible AI Pattern Catalogue

  • Responsible AI Pattern Catalogue: A Multivocal Literature Review [13.2]
    MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。 原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
    論文  参考訳(メタデータ)   (Wed, 14 Sep 2022 00:00:06 GMT)
    • Responsible AIに関するサーベイ、よくまとまっており外部資料へのリンクが多いのがありがたい。

eco2AI: 二酸化炭素排出量のトラッキングライブラリ

RealTime QA

  • RealTime QA: What’s the Answer Right Now? [113.0]
    本稿では,動的質問応答(QA)プラットフォームであるRealTime QAを紹介する。 GPT-3は、新しく検索された文書に基づいて、しばしばその生成結果を適切に更新することができる。 検索した文書が回答を見つけるのに十分な情報を提供していない場合、GPT-3は時代遅れの回答を返す傾向にある。
    論文  参考訳(メタデータ)   (Wed, 27 Jul 2022 07:26:01 GMT)
    • QAを現実世界、実時間で評価していく取り組み。Question Answeringモデルの実運用が現実的なのか知る上でも非常に興味深い。
    • プロジェクトサイトはHome | RealTime QA

データリークと再現性

  • Leakage and the Reproducibility Crisis in ML-based Science [5.1]
    データ漏洩は確かに広範な問題であり、深刻な失敗につながっていることを示す。 教科書の誤りからオープンな研究問題まで,8種類の漏洩の詳細な分類法を提示する。 本稿では,MLモデルに基づく科学的主張を報告するためのモデル情報シートを提案する。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 16:44:59 GMT)
    • (いろいろな分野で指摘されているが)学術論文の中には再現性が不十分な例がみられる。機械学習の利用ではleakageなどによってそれが起きていることがあるとの指摘。悪意があるか否かはおいておいて、機械学習モデルを正しく評価するのは難しいという印象。この論文に指摘された問題はとても参考になる。
    • プロジェクトサイトはLeakage and the Reproducibility Crisis in ML-based Science (princeton.edu)、WORDのチェックシートも提供されている。

アメリカ空軍でのAI利用

  • Developing a Series of AI Challenges for the United States Department of the Air Force [38.3]
    DAF-MIT AI Acceleratorは、AI研究者とDAFのミッション要件の間のギャップを埋めるための、DAFとMITの間のイニシアチブである。 DAF-MIT AI Acceleratorが支援するいくつかのプロジェクトは、多くの連邦AI研究優先順位に対処する公的な課題を開発している。 これらの課題は、大規模でAI対応のデータセットを公開し、オープンソースソリューションのインセンティブを与え、デュアルユースケーステクノロジの需要信号を作成することによって、優先順位を目標とする。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 16:13:40 GMT)
    • アメリカ空軍でのAI利用に関する紹介。データの公開やオープンソースが利用されているのが意外だった。

AI/機械学習に対する攻撃のアンケート調査

  • “Why do so?” — A Practical Perspective on Machine Learning Security [21.5]
    我々は139人の産業従事者との攻撃発生と懸念を分析した。 私たちの結果は、デプロイされた機械学習に対する現実世界の攻撃に光を当てています。 我々の研究は、現実の敵対的機械学習に関するさらなる研究の道を開くものだ。
    論文  参考訳(メタデータ)   (Mon, 11 Jul 2022 19:58:56 GMT)
    • AIに対する攻撃に関する調査で、100人以上を対象としており興味深い。Poisoningなどに危険性を感じている人が思ったよりも多いという印象。

機械学習におけるバイアス緩和のサーベイ

  • Bia Mitigation for Machine Learning Classifiers: A Comprehensive Survey [25.3]
    本稿では,機械学習(ML)モデルにおける公平性を実現するためのバイアス緩和手法を包括的に調査する。 ML分類器のバイアス軽減に関する合計234の論文を収集する。 本論文では,既存のバイアス緩和手法について検討する。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 17:16:45 GMT)
    • 機械学習による分類器に対してバイアスを緩和する手法のサーベイ。200以上の論文がサーベイ対象であり、多種多様なアプローチ、手法があることに驚き。

不公平なモデルをエビデンス付きで指摘するタスク:Revealing Unfair Models by mining Interpretable Evidence (RUMIE)

  • Revealing Unfair Models by Mining Interpretable Evidence [50.5]
    機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
    論文  参考訳(メタデータ)   (Tue, 12 Jul 2022 20:03:08 GMT)
    • 不公平さをエビデンス付きで明らかにするタスク・手法の提案
    • 社会実装のために重要な技術であると思う

医療分野の機械学習における公平性のサーベイ

  • Fair Machine Learning in Healthcare: A Review [53.9]
    医療のための機械学習において公平性の問題が特定されており、特定のグループに対して限られた医療資源を不公平に割り当てたり、過剰な健康リスクを負ったりしている。 公平な問題を露呈し、バイアスを要約し、緩和方法を整理し、将来の機会とともに課題を指摘することで橋を架けます。
    論文  参考訳(メタデータ)  参考訳(全文)  (Wed, 29 Jun 2022 04:32:10 GMT)
    • ヘルスケア分野でAI活用が進んでいるが、そのなかに含まれかねないバイアスの特定と公正性に関するサーベイ。

Explainable AIを評価する視点

  • Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.4]
    説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
    論文  参考訳(メタデータ)   (Wed, 22 Jun 2022 05:17:33 GMT)
    • XAIの「説明」が良いか悪いかはユーザ(とその目的)によって異なることが指摘されている。良い説明とは何かをユーザを軸として整理したサーベイ。これでOKという結論があるものではないが、「良い説明とは何か?」を考えるうえでとても勉強になる。
      • 評価の特性として「Faithfulness」「Completeness」「Stability」「Compactness」「(Un)Certainty (communication)」「Interactivity」「Translucence」「Comprehensibility」「Actionability」「Coherence」「Novelty」「Personalization」が挙げられていて、考慮事項が非常に多いことが分かる。