Multimodal Hierarchical Selective Transformer (mhsf) : マルチモーダルな抽象型要約

  • Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.5]
    モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整およびフレッシュトレーニング戦略を用いて評価した。
    論文  参考訳(メタデータ)   (Wed, 11 Aug 2021 09:59:34 GMT)
    • テキスト、画像、音声→テキストな抽象型要約に関する論文。マルチモーダル性をうまく利用することで既存手法より優れていると報告。人間による評価を併用している点、そこでも高スコアであることが興味深い。

Mobile-Former: MobileNet + Transformer

  • Mobile-Former: Bridging MobileNet and Transformer [42.6]
    我々はMobileNetとTransformerの並列設計であるMobile-Formerについて述べる。 Mobile-Formerは計算効率が良いだけでなく、より表現力があり、低FLOPでMobileNetV3を上回っている。
    論文  参考訳(メタデータ)   (Thu, 12 Aug 2021 17:59:55 GMT)
    • 局所的な表現ではMobileNet、大域的な部分はTransformerと2つのモデルを併用することで効率的・高速だが性能の高いモデルを構築できたとの報告。
    • RELATED WORKにもある通りこのような構成は最近よく見かける。