日: 2023年2月8日

Extracting Training Data from Diffusion Models 

  • Extracting Training Data from Diffusion Models [77.1]
    拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。 生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。 さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
    論文  参考訳（メタデータ）   (Mon, 30 Jan 2023 18:53:09 GMT)
  • Diffusionモデルは絵を生成している？複製している？ – arXiv最新論文の紹介 (devneko.jp)と近しい話題で画像を記憶し元データと非常に近い画像を出力することがあるとの報告。「We see that state-of-the-art diffusion models memorize 2× more than comparable GANs」と記載があり、GANより深刻とのこと。
  • 人間でも似たようなことはある…という話はあるものの社会実装では対策が必要だと思う。（元画像に近いかどうかというものだが、著作権や商標を侵害しなけない出力への対応も必要）

PrimeQA

  • PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development [24.0]
    PRIMEQAは、QAの再調査を民主化し、最先端(SOTA)QAメソッドの複製を容易にすることを目的とした、ワンストップのQAレポジトリである。 検索や読解といったコアQA機能と,質問生成などの補助機能をサポートする。 フロントエンドアプリケーションの構築、pub-licベンチマーク上のSOTAメソッドの複製、既存のメソッドの拡張など、さまざまなユースケースのためのエンドツーエンドツールキットとして設計されている。
    論文  参考訳（メタデータ）   (Wed, 25 Jan 2023 15:48:03 GMT)
  • Question Answeringに関するオープンなリポジトリ＆フレームワーク
  • QAを対象にしたもの（かつここまで整理されたもの）はあまりなさそうな気がする
  • リポジトリはPrimeQA · GitHub、HuggingFaceにフレームワークで使えるモデルも公開されているPrimeQA (PrimeQA) (huggingface.co)

ChatGPTの分析

ChatGPTの分析が複数出ていた。一つ目は数学的能力の検証で今までも指摘されている通りよろしくない結果となっている（改善バージョンが最近出ているのでどうなっているかも興味がある）。もう一つは倫理的側面で過去のモデルに対しての改善はみられるものの、なかなか厳しい指摘がなされている。

  • Mathematical Capabilities of ChatGPT [35.7]
    我々は、ChatGPTの数学的能力について、公開データセットや手作りデータセットで検証し、その性能をMinervaのような数学的コーパスで訓練された他のモデルと比較することで検討する。 また,ChatGPTの数学能力は,平均的な数学の大学院生の数学能力よりも有意に劣っていると結論づけた。
    論文  参考訳（メタデータ）   (Tue, 31 Jan 2023 18:59:03 GMT)
  • リポジトリはGitHub – friederrr/science-GHOSTS
  • Exploring AI Ethics of ChatGPT: A Diagnostic Analysis [19.9]
    大きな言語モデル(LLM)は要約ソフトウェアやコピーライターなどのビジネスに大きな影響を与えている。 観察の結果、LSMは社会的偏見と毒性を示し、無責任な結果の倫理的および社会的危険を生じさせる可能性が示唆された。
    論文  参考訳（メタデータ）   (Mon, 30 Jan 2023 13:20:48 GMT)