タグ: 社会実装

Human or Machine? Turing Tests for Vision and Language 

  • Human or Machine? Turing Tests for Vision and Language [22.1]
    我々は、現在のAIを人間を模倣する能力で体系的にベンチマークする。 実験では、769人の人的エージェント、24人の最先端AIエージェント、896人の人的裁判官、8人のAI裁判官がテストされた。 その結果、現在のAIは、性別、年齢、教育レベルによって人間の裁判官を偽装できるわけではないことが判明した。
    論文  参考訳（メタデータ）   (Wed, 23 Nov 2022 16:16:52 GMT)
  • 大規模なチューリングテスト。AIがチューリングテストを受けるだけでなく、ジャッジもしているのが面白い。
  • チューリングテストには批判も多いが大規模実験の結果は面白い。長い対話はともかくとしてAIか人間かの判断は難しいように思えるし、その判断ですらAIの性能は高いよう。
  • データ等はhttps://tinyurl.com/8x8nha7pで公開されているとのこと

The Lean Data Scientist

  • The Lean Data Scientist: Recent Advances towards Overcoming the Data Bottleneck [16.2]
    機械学習(ML)は、ほとんどすべての科学と産業に影響を及ぼし、世界を変えつつある。 最近のアルゴリズムはますますデータに飢えており、トレーニングには大規模なデータセットが必要である。 しかし、そのような規模の高品質なデータセットを取得することは難しい課題である。
    論文  参考訳（メタデータ）   (Tue, 15 Nov 2022 07:44:56 GMT)
  • データが少ない問題に対応する手法を整理した論文
  • それほど長くもなく頭の整理には良いなと思う。

Fairness Increases Adversarial Vulnerability 

  • Fairness Increases Adversarial Vulnerability [50.9]
    フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
    論文  参考訳（メタデータ）   (Wed, 23 Nov 2022 01:46:22 GMT)
  • 公平性と頑健性はトレードオフの関係にあり、良好なポイントを見つけるための手法を提案している。ある程度解決策も提案されているとはいえ、性能はともかく頑健性が落ちるのはつらいなーと思う。

Trustworthy Human Computation: A Survey 

  • Trustworthy Human Computation: A Survey [21.4]
    人間計算（Human Computation）はAIのみでは解くのが難しい問題を多くの人間と協力して解くアプローチである。 人間計算ではAIと人間の信頼関係を構築することが重要だ。本調査は,信頼性の高い人間計算の実現に向けた基礎研究である。
    論文  参考訳（メタデータ）   (Sat, 22 Oct 2022 01:30:50 GMT)
    • Human ComputationとAIの信頼性のサーベイ
    • AIの社会実装の上で重要であり、とても勉強になる
      • 信頼性、説明性、いろいろな観点があるが実装するのはとても難しい…

Equal Improvability

  • Equal Improvability: A New Fairness Notion Considering the Long-term Impact [27.7]
    EI(Equal Improvability)と呼ばれる新しい公正性の概念を提案する。 EIは、異なるグループ間で拒絶されたサンプルの潜在的受容率を等しくする。 提案したEI正規化アルゴリズムは、EIの観点から公平な分類器を見つけることを奨励することを示す。
    論文  参考訳（メタデータ）   (Thu, 13 Oct 2022 04:59:28 GMT)
    • 時間とともに何かを改善できる場合を考慮した公平性の指標を提案。例えば「ローンを承認するかどうかにおいて、今後クレジットスコアなどを改善できる場合」を考慮する。
      • とても面白い論文であり、アルゴリズム・実験結果ともに公開されているので現実的な設定で使えそうなのかは検証してみたいなと思う
    • リポジトリはguldoganozgur/ei_fairness (github.com)

SpaceQA

  • SpaceQA: Answering Questions about the Design of Space Missions and Space Craft Concepts [57.0]
    宇宙ミッション設計における最初のオープンドメインQAシステムであるSpaceQAについて述べる。 SpaceQAは、欧州宇宙機関(ESA)による、宇宙ミッションの設計に関する情報のアクセス、共有、再利用を容易にするイニシアチブの一部である。
    論文  参考訳（メタデータ）   (Fri, 7 Oct 2022 09:41:39 GMT)
    • 試行運用に入っているQAエンジンとのこと。一般的な部品をうまく組み合わせているように見える。
    • リポジトリはexpertailab/SpaceQA (github.com)

機械学習における要求工学

  • Requirements Engineering for Machine Learning: A Review and Reflection [39.0]
    本稿では,機械学習アプリケーションにおける要件工学プロセスの概要について述べる。 産業データ駆動インテリジェンスアプリケーションの例も、前述のステップに関連して議論されている。
    論文  参考訳（メタデータ）   (Mon, 3 Oct 2022 12:24:39 GMT)
    • 機械学習アプリケーションにおける要求をレビューした論文。CRISP-DM と CRISP-ML(Q)の差のようにデータ分析とは異なる点が面白い。
    • 「Fig 1: General collaborations of Stakeholders involved in ML Application Development」は役割分担（興味）を整理するうえでも面白い。

AutoMLとIoT

教育とAI

  • Lost in Translation: Reimagining the Machine Learning Life Cycle in Education [12.8]
    機械学習(ML)技術は、教育においてますます普及している。 ML技術が長年の教育原則と目標をどのように支えているかを調べる必要がある。 本研究では,教育専門家へのインタビューから得られた質的な洞察をもとに,この複雑な景観を考察した。
    論文  参考訳（メタデータ）   (Thu, 8 Sep 2022 17:14:01 GMT)
    • 教育へのAI適用についてインタビューを行った結果をまとめた論文。社会実装に関わる課題、教育ということもあり倫理に関連する話題も多い。

Responsible AI Pattern Catalogue

  • Responsible AI Pattern Catalogue: A Multivocal Literature Review [13.2]
    MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。 原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
    論文  参考訳（メタデータ）   (Wed, 14 Sep 2022 00:00:06 GMT)
    • Responsible AIに関するサーベイ、よくまとまっており外部資料へのリンクが多いのがありがたい。