日: 2021年10月12日

QAにおけるGNNの役割はカウンターとして動作しているのみ？

  • GNN is a Counter? Revisiting GNN for Question Answering [105.8]
    State-of-the-art Question Answering (QA)システムは通常、LMに符号化された知識にアクセスするために、訓練済み言語モデル(LM)を使用する。 知識グラフ(KG)の推論を行うグラフニューラルネットワーク(GNN)に基づく精巧に設計されたモジュール 我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
    論文  参考訳（メタデータ）   (Thu, 7 Oct 2021 05:44:52 GMT)
    • QAタスクの高精度化ではGraph Neural Networkが使われることが多い。Graph Soft Counter (GSC)というEdge encoderとスコアを合算レイヤーのみを持つシンプルな構造で既存の複雑なGNNより良い性能を達成できたとのこと。モデルサイズはわずか3Kと驚きの結果。

MobileViT: 軽量・効率的な画像用Transformer

  • MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer [24.5]
    モバイルデバイス用の軽量ビジョントランスフォーマであるMobileViTを紹介する。 以上の結果から,MobileViT は CNN および ViT ベースのネットワークを,タスクやデータセット間で大幅に上回っていることがわかった。
    論文  参考訳（メタデータ）   (Tue, 5 Oct 2021 17:07:53 GMT)
    • パラメータ数が同等のMobileNetv3(CNN系)、DeIT(ViT系)を上回る性能を出せる軽量なVision Transformerの報告。結局、ViTs are slower than CNNsって・・・とは思わなくはないが、Transformerの利用は広まっているのでハードウェア演算による支援が普通になる未来を期待。
      • この論文はAppleからだしTransformer向けの計算支援をiPhoneに組み込んでほしい。（そしてFuguMTも高速化させたい）