タグ: 社会実装

対話システムにおけるSafe, Rensponsible, Moralのサーベイ

  • Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A Survey [51.8]
    安全・責任・モダル対話システム構築に向けた研究範囲の新たな視点を提示する。 本稿では,1)虐待的・有害な内容,2)不公平・差別,3)倫理的・道徳的問題,および4)誤認・プライバシー情報のリスクについて論じる。
    論文  参考訳（メタデータ）   (Sat, 18 Feb 2023 09:32:55 GMT)
  • 最近話題の対話システムに対して社会実装上避けては通れない要素のサーベイ
  • 5章のトレンドも参考になる
    • 1) explainable safety monitoring
    • 2) continuous learning of safety issues
    • 3) robustness against malicious attacks
    • 4) multimodal information processing
    • 5) unified research framework
    • 6) multidisciplinary theory integration

FairPy

  • FairPy: A Toolkit for Evaluation of Social Biases and their Mitigation in Large Language Models [7.3]
    大規模な事前訓練された言語モデルは、人種、性別等に基づく社会集団に対する偏見を示すことが研究で示されている。 様々な研究者がこれらのバイアスを定量化し識別するための数学的ツールを提案している。 本稿では,人種,性別,民族,年齢など,さまざまなバイアスの包括的定量的評価を行う。
    論文  参考訳（メタデータ）   (Fri, 10 Feb 2023 20:54:10 GMT)
  • バイアスの定量化、緩和のためのフレームワーク。様々な手法に対応。
  • リポジトリはGitHub – HrishikeshVish/Fairpy

Extracting Training Data from Diffusion Models 

  • Extracting Training Data from Diffusion Models [77.1]
    拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。 生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。 さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
    論文  参考訳（メタデータ）   (Mon, 30 Jan 2023 18:53:09 GMT)
  • Diffusionモデルは絵を生成している？複製している？ – arXiv最新論文の紹介 (devneko.jp)と近しい話題で画像を記憶し元データと非常に近い画像を出力することがあるとの報告。「We see that state-of-the-art diffusion models memorize 2× more than comparable GANs」と記載があり、GANより深刻とのこと。
  • 人間でも似たようなことはある…という話はあるものの社会実装では対策が必要だと思う。（元画像に近いかどうかというものだが、著作権や商標を侵害しなけない出力への対応も必要）

大規模言語モデルへの透かし

  • A Watermark for Large Language Models [60.7]
    本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できる影響で埋め込むことができ、言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
    論文  参考訳（メタデータ）   (Tue, 24 Jan 2023 18:52:59 GMT)
  • 大規模言語モデルの出力に透かしを入れ検知できるようにするフレームワークの提案。
    ChatGPTにはすでに導入されいたりするのだろうか・・・？
  • リポジトリはGitHub – jwkirchenbauer/lm-watermarking

Semantic Scholar

  • The Semantic Scholar Open Data Platform [79.4]
    セマンティック・スカラー(Semantic Scholar、S2)は、学術文献の発見と理解を支援することを目的としたオープンデータプラットフォームおよびウェブサイトである。 我々は、学術的なPDFコンテンツ抽出と知識グラフの自動構築のための最先端技術を用いて、パブリックおよびプロプライエタリなデータソースを組み合わせる。 このグラフには、構造解析されたテキスト、自然言語要約、ベクトル埋め込みなどの高度な意味的特徴が含まれている。
    論文  参考訳（メタデータ）   (Tue, 24 Jan 2023 17:13:08 GMT)
  • Semantic Scholar | AI-Powered Research Tool の論文
  • ソフトウェア構成が非常に参考になる。一部はfugumt.comでも取り入れたい。

Toward General Design Principles for Generative AI Applications 

  • Toward General Design Principles for Generative AI Applications [16.1]
    生成AIアプリケーションの設計に関する7つの原則を提示する。 生成AIの特徴として、複数の成果と不完全性、探索と制御、メンタルモデルと説明の6つの原則が重視されている。 我々は、生成モデルの有害な出力、誤用、または人的変位の可能性によって引き起こされる可能性のある潜在的な害に対して設計をするようデザイナーに促す。
    論文  参考訳（メタデータ）   (Fri, 13 Jan 2023 14:37:56 GMT)
  • 近年、強力な生成系AI（画像生成、テキスト生成、…）のリリースが相次いでいるがその設計で守るべき原則を整理した論文、100以上の引用数があり納得感のある指摘となっている
  • ７つの原則は「Design against harms」だけが独立（全体をカバー）、その他は「Multiple outputs」「Imperfection」「Mental models」「Explanation」「Exploration」「Control」が挙げられている。

AI Maintenance: A Robustness Perspective 

  • AI Maintenance: A Robustness Perspective [91.3]
    我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
    論文  参考訳（メタデータ）   (Sun, 8 Jan 2023 15:02:38 GMT)
  • AIメンテナンスに関するフレームワークの提案。妥当・合理的かは議論が分かれると思うが、頭の整理をするには有用。

Large Language Models as Corporate Lobbyist、GPT Takes the Bar Exam

  • Large Language Models as Corporate Lobbyists [0.0]
    自己回帰的な大きな言語モデルは、提案されたアメリカ合衆国議会法案が特定の公共企業に関連するかどうかを決定する。 モデルが関連するものとみなす法案について、モデルは、提案された法律を変更するよう議会に説得するために、法案のスポンサーに手紙を起草する。
    論文  参考訳（メタデータ）   (Wed, 4 Jan 2023 16:55:35 GMT)
  • AIを使ってロビー活動ができるのかを検討した報告。やろうと思えばそれっぽいことが可能になってきていると感じる。
  • （正当な目的にも使えるとはいえ）SPAMといえばSPAMのような気はするが、どう扱うかは悩ましい問題。
  • GitHub – JohnNay/llm-lobbyist: Code for the paper: “Large Language Models as Corporate Lobbyists” (2023).
  • GPT Takes the Bar Exam [0.0]
    GPT-3.5 と呼ばれる OpenAI のtext-davinci-003 モデルの性能評価実験を行った。 最良のプロンプトとパラメータのために、GPT-3.5はNCBE MBEの試験で50.3%の見出し正解率を達成している。
    論文  参考訳（メタデータ）   (Thu, 29 Dec 2022 18:19:43 GMT)
  • GPT-3(3.5)を米国の弁護士試験に適用してみたとの報告。2つのカテゴリでは合格水準にあるとのこと。

Explanations Can Reduce Overreliance on AI Systems During Decision-Making

  • Explanations Can Reduce Overreliance on AI Systems During Decision-Making [12.7]
    AIが予測のための説明を生成する場合、予測のみを提供する場合に比べて、過信は減少しない。 過度信頼は認知バイアスや未確認の信頼の結果であり、過度信頼は人間の認知の必然性に起因すると主張する者もいる。 対照的に、私たちの論文では、AIの説明に関わるかどうかを戦略的に選択し、AIの説明が過度な信頼を減少させるシナリオがあることを実証的に示す。文献で見いだされた無効効果のいくつかは、AIの予測を検証するコストを十分に削減していない説明によるものである可能性が示唆された。
    論文  参考訳（メタデータ）   (Tue, 13 Dec 2022 18:59:31 GMT)
  • XAIの有効性に関する報告。「AIを過剰に信頼する文脈でXAIは効果が無い」という既存の報告に対して、5つの実験によって状況に依存するとの結果を出している。
  • 実験のデザインをする過程が詳細で興味深い（この理由により若干長い）
  • この報告自体は単純化された内容ではあるが、社会実装においてAIの使い方を設計するというのが重要になりそうなことが分かる。

Diffusionモデルは絵を生成している？複製している？

  • Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.0]
    生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをCeleb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製にどのように影響するかを議論する。
    論文  参考訳（メタデータ）   (Thu, 8 Dec 2022 18:59:30 GMT)
  • 拡散モデルが絵を描いているのか学習データからコピーしているのかを検知するフレームワークの提案。サンプルとしてコピーとみなせそうな例が挙げられている。
  • 論文中には「Furthermore, it is highly likely that replication exists that our retrieval method is unable to identify.」との記載もあり、生成モデルがバズった中で言われていた懸念は現実的なリスクのよう。