Petals: 大規模NLPモデルの協調推論と微調整

  • Petals: Collaborative Inference and Fine-tuning of Large Models [78.4]
    多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。 BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。 我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petalsを提案する。
    論文  参考訳(メタデータ)   (Fri, 2 Sep 2022 17:38:03 GMT)
    • 大規模モデルを分散して利用できるシステムの提案。コンピューティングリソースを共有しての実行が可能でパブリックなリソースとして自分の環境を共有することも可能なよう(SETI@HOMEを思い出した)
    • プロジェクトサイトはPetals – Decentralized platform for running 100B+ language models

Wifiの信号と画像を用いた人の認識

  • GaitFi: Robust Device-Free Human Identification via WiFi and Vision Multimodal Learning [33.9]
    本稿では,WiFi信号とビデオを利用したマルチモーダル歩行認識手法GaitFiを提案する。 GaitFiでは、WiFiのマルチパス伝搬を反映したチャネル状態情報(CSI)が収集され、人間の視線を捉え、ビデオはカメラによってキャプチャされる。 本稿では,ロバストな歩行情報を学習するために,バックボーンネットワークとして軽量残差畳み込みネットワーク(LRCN)を提案し,さらに2ストリームのGaitFiを提案する。 GaitFiが最先端の歩行認識より優れていることを示す実験が実世界で実施されている
    論文  参考訳(メタデータ)   (Tue, 30 Aug 2022 15:07:43 GMT)
    • Wifiの電波干渉情報とカメラの情報を併用した人の識別。2つの情報を融合することによって性能が上がっているのに驚き。
      • センシング方法によって見え方が違っているという事なんだろうが理由が気になる。

FETA(Foundation Model for Expert Task Applications)ベンチマークとデータセット

  • FETA: Towards Specializing Foundation Models for Expert Task Applications [49.6]
    ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
    論文  参考訳(メタデータ)   (Thu, 8 Sep 2022 08:47:57 GMT)
    • Text-to-Image (T21) と Image-to-Text (I2T) の検索を対象に、専門家のタスクとして多様な自動車サービスマニュアルと販売(IKEA年次カタログ)にフォーカスしたベンチマークの提案。CLIPやFLAVAなどの既存モデルでは難しい問題になっているとのこと。
    • 論文中にデータのダウンロードリンクがある。