Diffusion Modelのサーベイ

  • A Survey on Generative Diffusion Model [75.5]
    拡散モデルには、遅い生成過程の自然な欠点があり、多くの強化された研究につながっている。 本稿では,学習スケジュール,トレーニング不要サンプリング,混合モデリング,スコア・アンド・拡散統一といった,拡散モデルを高速化する高度な手法を提案する。 拡散モデルを持つアプリケーションは、コンピュータビジョン、シーケンスモデリング、オーディオ、科学のためのAIを含む。
    論文  参考訳(メタデータ)   (Tue, 6 Sep 2022 16:56:21 GMT)
    • 最近話題のStable Diffusionなどに関連する生成系拡散モデルのサーベイ
  • Diffusion Models: A Comprehensive Survey of Methods and Applications [6.0]
    拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。 近年,拡散モデルの性能向上への熱意が高まっている。
    論文  参考訳(メタデータ)   (Fri, 2 Sep 2022 02:59:10 GMT)

チャットボットに対する攻撃

  • Why So Toxic? Measuring and Triggering Toxic Behavior in Open-Domain Chatbots [42.0]
    本稿では,チャットボットの毒性を定量的に測定する。 一般に利用可能なチャットボットは、有害なクエリを入力した場合、有害な応答を提供する傾向がある。 そこで我々は,GPT-2を微調整して非有害なクエリを生成する攻撃ToxicBuddyの設計と実験を行った。
    論文  参考訳(メタデータ)   (Wed, 7 Sep 2022 20:45:41 GMT)
    • チャットボットが無害なクエリに対して有害な返答を行ってくるようなクエリを作成する攻撃手法ToxicBuppyを提案。攻撃の成功レートは条件に依存するが現実的な条件でも一定精度(数%程度)の成功率はあるよう。既存の防御手段では性能を保持したままの対応が難しいとのこと。

Petals: 大規模NLPモデルの協調推論と微調整

  • Petals: Collaborative Inference and Fine-tuning of Large Models [78.4]
    多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。 BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。 我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petalsを提案する。
    論文  参考訳(メタデータ)   (Fri, 2 Sep 2022 17:38:03 GMT)
    • 大規模モデルを分散して利用できるシステムの提案。コンピューティングリソースを共有しての実行が可能でパブリックなリソースとして自分の環境を共有することも可能なよう(SETI@HOMEを思い出した)
    • プロジェクトサイトはPetals – Decentralized platform for running 100B+ language models

Wifiの信号と画像を用いた人の認識

  • GaitFi: Robust Device-Free Human Identification via WiFi and Vision Multimodal Learning [33.9]
    本稿では,WiFi信号とビデオを利用したマルチモーダル歩行認識手法GaitFiを提案する。 GaitFiでは、WiFiのマルチパス伝搬を反映したチャネル状態情報(CSI)が収集され、人間の視線を捉え、ビデオはカメラによってキャプチャされる。 本稿では,ロバストな歩行情報を学習するために,バックボーンネットワークとして軽量残差畳み込みネットワーク(LRCN)を提案し,さらに2ストリームのGaitFiを提案する。 GaitFiが最先端の歩行認識より優れていることを示す実験が実世界で実施されている
    論文  参考訳(メタデータ)   (Tue, 30 Aug 2022 15:07:43 GMT)
    • Wifiの電波干渉情報とカメラの情報を併用した人の識別。2つの情報を融合することによって性能が上がっているのに驚き。
      • センシング方法によって見え方が違っているという事なんだろうが理由が気になる。

FETA(Foundation Model for Expert Task Applications)ベンチマークとデータセット

  • FETA: Towards Specializing Foundation Models for Expert Task Applications [49.6]
    ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
    論文  参考訳(メタデータ)   (Thu, 8 Sep 2022 08:47:57 GMT)
    • Text-to-Image (T21) と Image-to-Text (I2T) の検索を対象に、専門家のタスクとして多様な自動車サービスマニュアルと販売(IKEA年次カタログ)にフォーカスしたベンチマークの提案。CLIPやFLAVAなどの既存モデルでは難しい問題になっているとのこと。
    • 論文中にデータのダウンロードリンクがある。

抽出型要約も忠実ではない

  • Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.9]
    本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
    論文  参考訳(メタデータ)   (Thu, 8 Sep 2022 03:25:18 GMT)
    • 一般的に抽象型要約よりも抽出型要約の要約の方が意味的な忠実度が高いと思われているが、人間による大規模検証によるとそうでもないという結果。
    • 既存の各種評価指標との対応を見ると要約の自動評価簡単ではないなーという印象。
    • ZhangShiyue/extractive_is_not_faithful (github.com)

Fengshenbang : 中国のFoundationモデル構築プロジェクト

  • Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence [34.5]
    我々は,認知コンピューティング・自然言語研究センター(CCNL)が主導するFengshenbangというオープンソースプロジェクトを紹介した。 私たちのプロジェクトには、大規模な事前トレーニングモデル、ユーザフレンドリなAPI、ベンチマーク、データセットなど、包括的な機能があります。 オープンソースロードマップであるFengshenbangは、中国の事前訓練された大規模モデルのオープンソースコミュニティを再評価することを目的としている。
    論文  参考訳(メタデータ)   (Wed, 7 Sep 2022 07:32:37 GMT)

A Survey of Machine Unlearning

  • A Survey of Machine Unlearning [45.9]
    近年の規制では、ユーザに関する個人情報は一般にコンピュータシステムから、特に要求に応じてMLモデルから削除することが要求されている。 この現象は、機械学習モデルを特定のデータを忘れるようにするための新しいパラダイム、すなわち機械学習を求めている。 我々は、マシンアンラーニングの定義、シナリオ、メカニズム、アプリケーションについて、徹底的に調査することを目指している。
    論文  参考訳(メタデータ)   (Tue, 6 Sep 2022 08:51:53 GMT)

Customized Prompts via Language models

  • What does a platypus look like? Generating customized prompts for zero-shot image classification [47.8]
    本研究は,画像領域の明示的な知識を使わずに,高精度なプロンプトを生成する簡単な手法を提案する。 大規模言語モデル(LLM)に含まれる知識を活用し、各オブジェクトカテゴリにカスタマイズされた多くの記述文を生成する。 このアプローチは、ImageNetの1パーセント以上のポイントゲインを含む、ゼロショット画像分類ベンチマークの精度を改善する。
    論文  参考訳(メタデータ)   (Wed, 7 Sep 2022 17:27:08 GMT)
    • 大規模言語モデルからの知識を用いてゼロショット画像分類モデルの精度を上げるアプローチ。手作業で作成する部分をGPT-3のような大規模言語モデルに代替させるのはとても良さそう。
    • リポジトリはsarahpratt/CuPL (github.com)

YOLOv6、YOLOv7

  • YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications [16.0]
    YOLOv6-Nは、NVIDIA Tesla T4 GPU上で1234 FPSのスループットでCOCOデータセットで35.9%APに達する。 YOLOv6-S は 495 FPS で 43.5% AP を攻撃し、他の主流検出器を同じ規模で上回っている。 YOLOv6-M/Lは、同様の推論速度を持つ他の検出器よりも精度(49.5%/52.3%)が高い。
    論文  参考訳(メタデータ)   (Wed, 7 Sep 2022 07:47:58 GMT)

YOLOv7は↓