言語モデルを用いた弱教師有り学習

  • Weakly Supervised Text Classification using Supervision Signals from a Language Model [33.6]
    我々は文書自体と「この記事は[MASK]について話している」ことを組み合わせたプロンプトを設計する。 マスク付き言語モデルは[MASK]トークンの単語を生成することができる。 文書の内容を要約した生成された単語を監視信号として利用することができる。
    論文  参考訳(メタデータ)   (Fri, 13 May 2022 12:57:15 GMT)
    • 大規模言語モデルを用いて教師信号を作り、弱教師有り学習に持ち込む研究。言語モデルで単語を生成させ、その単語とカテゴリを紐づけている。
    • 大規模言語モデルからの情報抽出は結構流行っている印象

Transformers in 3D Point Clouds: A Survey

  • Transformers in 3D Point Clouds: A Survey [27.8]
    3Dトランスフォーマーモデルは、長距離依存モデリングの驚くべき能力があることが証明されている。 本調査は,各種タスク用に設計された3Dトランスフォーマーの概要を概観することを目的としている。
    論文  参考訳(メタデータ)   (Mon, 16 May 2022 01:32:18 GMT)
    • 3D Transformerに関するサーベイ。いたるところにトランスフォーマーが採用されている。