A Survey of Small Language Models 

  • A Survey of Small Language Models [104.8]
    小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
    論文  参考訳(メタデータ)   (Fri, 25 Oct 2024 23:52:28 GMT)
  • Small Language Model(といっても感覚的には小規模LLM)のサーベイ
  • 「The inherent difficulty of a survey of small language models is that the definitions of “small” and “large” are a function of both context and time. GPT2, a “large language model” in 2019 at 1.5B parameters, is smaller than many “small” language models covered in this survey.」とある通り、Smallとは?というのが大きな疑問。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です