Large Scale Neural Network Trainingのサーベイ

  • Survey on Large Scale Neural Network Training [48.4]
    現代のディープニューラルネットワーク(DNN)は、トレーニング中にウェイト、アクティベーション、その他の中間テンソルを保存するためにかなりのメモリを必要とする。 この調査は、より効率的なDNNトレーニングを可能にするアプローチの体系的な概要を提供する。
    論文  参考訳(メタデータ)   (Mon, 21 Feb 2022 18:48:02 GMT)
    • 大規模ニューラルネットをいかに学習するかに関するサーベイ。Single GPU、マルチ GPU双方の内容を扱っている。8ページと短いが様々なアプローチとトレードオフが整理されていて面白い。

Vision-Language Pre-trainingのSurvey

  • VLP: A Survey on Vision-Language Pre-training [24.1]
    事前学習モデルの出現は、コンピュータビジョン (CV) や自然言語処理 (NLP) のような一様場を新しい時代にもたらした。 本稿では、画像テキストやビデオテキストの事前学習など、視覚言語事前学習の最近の進歩と新たなフロンティアについて調査する。
    論文  参考訳(メタデータ)   (Mon, 21 Feb 2022 02:58:34 GMT)
    • image-text、video-textに対するVLP(VisionLanguage Pre-training)に関するサーベイ。8ページと短いが参考になる。6ページの表から非常の多くの手法があることが分かる。。。

ArgSciChat: 学術論文を対象とした議論対話データセット

  • ArgSciChat: A Dataset for Argumentative Dialogues on Scientific Papers [61.8]
    学術論文のドメインエキスパートとして科学者間の対話を収集する新しい枠組みを導入する。 我々のフレームワークは、科学者が論文を対話の根拠として提示し、論文のタイトルを気に入った対話に参加することを可能にする。新しい議論的対話データセットArgSciChatの収集にフレームワークを使用します。 41の対話から収集された498のメッセージと20の科学論文からなる。
    論文  参考訳(メタデータ)   (Mon, 14 Feb 2022 13:27:19 GMT)