タグ: 社会実装

Semantic Scholar

  • The Semantic Scholar Open Data Platform [79.4]
    セマンティック・スカラー(Semantic Scholar、S2)は、学術文献の発見と理解を支援することを目的としたオープンデータプラットフォームおよびウェブサイトである。 我々は、学術的なPDFコンテンツ抽出と知識グラフの自動構築のための最先端技術を用いて、パブリックおよびプロプライエタリなデータソースを組み合わせる。 このグラフには、構造解析されたテキスト、自然言語要約、ベクトル埋め込みなどの高度な意味的特徴が含まれている。
    論文  参考訳（メタデータ）   (Tue, 24 Jan 2023 17:13:08 GMT)
  • Semantic Scholar | AI-Powered Research Tool の論文
  • ソフトウェア構成が非常に参考になる。一部はfugumt.comでも取り入れたい。

Toward General Design Principles for Generative AI Applications 

  • Toward General Design Principles for Generative AI Applications [16.1]
    生成AIアプリケーションの設計に関する7つの原則を提示する。 生成AIの特徴として、複数の成果と不完全性、探索と制御、メンタルモデルと説明の6つの原則が重視されている。 我々は、生成モデルの有害な出力、誤用、または人的変位の可能性によって引き起こされる可能性のある潜在的な害に対して設計をするようデザイナーに促す。
    論文  参考訳（メタデータ）   (Fri, 13 Jan 2023 14:37:56 GMT)
  • 近年、強力な生成系AI（画像生成、テキスト生成、…）のリリースが相次いでいるがその設計で守るべき原則を整理した論文、100以上の引用数があり納得感のある指摘となっている
  • ７つの原則は「Design against harms」だけが独立（全体をカバー）、その他は「Multiple outputs」「Imperfection」「Mental models」「Explanation」「Exploration」「Control」が挙げられている。

AI Maintenance: A Robustness Perspective 

  • AI Maintenance: A Robustness Perspective [91.3]
    我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
    論文  参考訳（メタデータ）   (Sun, 8 Jan 2023 15:02:38 GMT)
  • AIメンテナンスに関するフレームワークの提案。妥当・合理的かは議論が分かれると思うが、頭の整理をするには有用。

Large Language Models as Corporate Lobbyist、GPT Takes the Bar Exam

  • Large Language Models as Corporate Lobbyists [0.0]
    自己回帰的な大きな言語モデルは、提案されたアメリカ合衆国議会法案が特定の公共企業に関連するかどうかを決定する。 モデルが関連するものとみなす法案について、モデルは、提案された法律を変更するよう議会に説得するために、法案のスポンサーに手紙を起草する。
    論文  参考訳（メタデータ）   (Wed, 4 Jan 2023 16:55:35 GMT)
  • AIを使ってロビー活動ができるのかを検討した報告。やろうと思えばそれっぽいことが可能になってきていると感じる。
  • （正当な目的にも使えるとはいえ）SPAMといえばSPAMのような気はするが、どう扱うかは悩ましい問題。
  • GitHub – JohnNay/llm-lobbyist: Code for the paper: “Large Language Models as Corporate Lobbyists” (2023).
  • GPT Takes the Bar Exam [0.0]
    GPT-3.5 と呼ばれる OpenAI のtext-davinci-003 モデルの性能評価実験を行った。 最良のプロンプトとパラメータのために、GPT-3.5はNCBE MBEの試験で50.3%の見出し正解率を達成している。
    論文  参考訳（メタデータ）   (Thu, 29 Dec 2022 18:19:43 GMT)
  • GPT-3(3.5)を米国の弁護士試験に適用してみたとの報告。2つのカテゴリでは合格水準にあるとのこと。

Explanations Can Reduce Overreliance on AI Systems During Decision-Making

  • Explanations Can Reduce Overreliance on AI Systems During Decision-Making [12.7]
    AIが予測のための説明を生成する場合、予測のみを提供する場合に比べて、過信は減少しない。 過度信頼は認知バイアスや未確認の信頼の結果であり、過度信頼は人間の認知の必然性に起因すると主張する者もいる。 対照的に、私たちの論文では、AIの説明に関わるかどうかを戦略的に選択し、AIの説明が過度な信頼を減少させるシナリオがあることを実証的に示す。文献で見いだされた無効効果のいくつかは、AIの予測を検証するコストを十分に削減していない説明によるものである可能性が示唆された。
    論文  参考訳（メタデータ）   (Tue, 13 Dec 2022 18:59:31 GMT)
  • XAIの有効性に関する報告。「AIを過剰に信頼する文脈でXAIは効果が無い」という既存の報告に対して、5つの実験によって状況に依存するとの結果を出している。
  • 実験のデザインをする過程が詳細で興味深い（この理由により若干長い）
  • この報告自体は単純化された内容ではあるが、社会実装においてAIの使い方を設計するというのが重要になりそうなことが分かる。

Diffusionモデルは絵を生成している？複製している？

  • Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.0]
    生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをCeleb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製にどのように影響するかを議論する。
    論文  参考訳（メタデータ）   (Thu, 8 Dec 2022 18:59:30 GMT)
  • 拡散モデルが絵を描いているのか学習データからコピーしているのかを検知するフレームワークの提案。サンプルとしてコピーとみなせそうな例が挙げられている。
  • 論文中には「Furthermore, it is highly likely that replication exists that our retrieval method is unable to identify.」との記載もあり、生成モデルがバズった中で言われていた懸念は現実的なリスクのよう。

Human or Machine? Turing Tests for Vision and Language 

  • Human or Machine? Turing Tests for Vision and Language [22.1]
    我々は、現在のAIを人間を模倣する能力で体系的にベンチマークする。 実験では、769人の人的エージェント、24人の最先端AIエージェント、896人の人的裁判官、8人のAI裁判官がテストされた。 その結果、現在のAIは、性別、年齢、教育レベルによって人間の裁判官を偽装できるわけではないことが判明した。
    論文  参考訳（メタデータ）   (Wed, 23 Nov 2022 16:16:52 GMT)
  • 大規模なチューリングテスト。AIがチューリングテストを受けるだけでなく、ジャッジもしているのが面白い。
  • チューリングテストには批判も多いが大規模実験の結果は面白い。長い対話はともかくとしてAIか人間かの判断は難しいように思えるし、その判断ですらAIの性能は高いよう。
  • データ等はhttps://tinyurl.com/8x8nha7pで公開されているとのこと

The Lean Data Scientist

  • The Lean Data Scientist: Recent Advances towards Overcoming the Data Bottleneck [16.2]
    機械学習(ML)は、ほとんどすべての科学と産業に影響を及ぼし、世界を変えつつある。 最近のアルゴリズムはますますデータに飢えており、トレーニングには大規模なデータセットが必要である。 しかし、そのような規模の高品質なデータセットを取得することは難しい課題である。
    論文  参考訳（メタデータ）   (Tue, 15 Nov 2022 07:44:56 GMT)
  • データが少ない問題に対応する手法を整理した論文
  • それほど長くもなく頭の整理には良いなと思う。

Fairness Increases Adversarial Vulnerability 

  • Fairness Increases Adversarial Vulnerability [50.9]
    フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
    論文  参考訳（メタデータ）   (Wed, 23 Nov 2022 01:46:22 GMT)
  • 公平性と頑健性はトレードオフの関係にあり、良好なポイントを見つけるための手法を提案している。ある程度解決策も提案されているとはいえ、性能はともかく頑健性が落ちるのはつらいなーと思う。

Trustworthy Human Computation: A Survey 

  • Trustworthy Human Computation: A Survey [21.4]
    人間計算（Human Computation）はAIのみでは解くのが難しい問題を多くの人間と協力して解くアプローチである。 人間計算ではAIと人間の信頼関係を構築することが重要だ。本調査は,信頼性の高い人間計算の実現に向けた基礎研究である。
    論文  参考訳（メタデータ）   (Sat, 22 Oct 2022 01:30:50 GMT)
    • Human ComputationとAIの信頼性のサーベイ
    • AIの社会実装の上で重要であり、とても勉強になる
      • 信頼性、説明性、いろいろな観点があるが実装するのはとても難しい…