Toward General Design Principles for Generative AI Applications 

  • Toward General Design Principles for Generative AI Applications [16.1]
    生成AIアプリケーションの設計に関する7つの原則を提示する。 生成AIの特徴として、複数の成果と不完全性、探索と制御、メンタルモデルと説明の6つの原則が重視されている。 我々は、生成モデルの有害な出力、誤用、または人的変位の可能性によって引き起こされる可能性のある潜在的な害に対して設計をするようデザイナーに促す。
    論文  参考訳(メタデータ)   (Fri, 13 Jan 2023 14:37:56 GMT)
  • 近年、強力な生成系AI(画像生成、テキスト生成、…)のリリースが相次いでいるがその設計で守るべき原則を整理した論文、100以上の引用数があり納得感のある指摘となっている
  • 7つの原則は「Design against harms」だけが独立(全体をカバー)、その他は「Multiple outputs」「Imperfection」「Mental models」「Explanation」「Exploration」「Control」が挙げられている。

DetectGPT

  • DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5]
    学生は、大きな言語モデル(LLM)を使用して、書面の課題を完成させることができ、インストラクターは生徒の学習を正確に評価することができない。 まず、LLMからサンプリングされたテキストがモデルのログ確率関数の負の曲率領域を占める傾向があることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
    論文  参考訳(メタデータ)   (Thu, 26 Jan 2023 18:44:06 GMT)
  • 機械が生成されたテキストを検出する手法の提案
  • 「minor rewrites of model-generated text tend to have lower log probability under the model than the original sample, while minor rewrites of human-written text may have higher or lower log probability than the original sample.」というシンプルな仮定で強力な性能を実現している
  • プロジェクトサイトはDetectGPT (ericmitchell.ai)