- A Survey of Large Language Models [81.1]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳（メタデータ） (Fri, 31 Mar 2023 17:28:46 GMT) - 大規模言語モデルのサーベイ
- 有名なモデルの開発時期や（公開されている範囲での）データ、規模、計算リソースなどがまとまっているのが非常にありがたい。数多くのモデルが作られていることと近年のLLMのアーキテクチャは概ね同じであることが分かる。
- リポジトリはGitHub – RUCAIBox/LLMSurvey: A collection of papers and resources related to Large Language Models. 、図がとても良い