日: 2023年5月16日

A Survey on Efficient Training of Transformers

  • A Survey on Efficient Training of Transformers [72.3]
    この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
    論文  参考訳（メタデータ）   (Thu, 4 May 2023 01:23:12 GMT)
  • Transformerの効率的な学習に関するサーベイ、ver3

A Survey on Out-of-Distribution Detection in NLP

  • A Survey on Out-of-Distribution Detection in NLP [115.5]
    現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
    論文  参考訳（メタデータ）   (Fri, 5 May 2023 01:38:49 GMT)
  • NLPにおけるOOD検出のサーベイ。ざっくりと知るには良い内容。
  • 自然言語処理なAIをデプロイするときには欲しくなり、LLM時代に重要性がさらに増す分野な予感。