History, Development, and Principles of Large Language Models-An Introductory Survey

  • History, Development, and Principles of Large Language Models-An Introductory Survey [48.3]
    自然言語処理(NLP)の基盤となる言語モデル 数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
    論文  参考訳(メタデータ)   (Sat, 10 Feb 2024 01:18:15 GMT)
  • 言語モデルの歴史を振り返るサーベイ
  • 歴史を振り返るにはよい資料でありつつ、それは言語モデルなのか?というつっこみがはいりそうな話題もある(LLMまでの歴史であれば特に問題はないのかな)

大規模言語モデルのサーベイ

  • A Survey of Large Language Models [81.1]
    言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
    論文  参考訳(メタデータ)   (Fri, 31 Mar 2023 17:28:46 GMT)
  • 大規模言語モデルのサーベイ
  • 有名なモデルの開発時期や(公開されている範囲での)データ、規模、計算リソースなどがまとまっているのが非常にありがたい。数多くのモデルが作られていることと近年のLLMのアーキテクチャは概ね同じであることが分かる。
  • リポジトリはGitHub – RUCAIBox/LLMSurvey: A collection of papers and resources related to Large Language Models. 、図がとても良い

Cramming: Training a Language Model on a Single GPU in One Day

  • Cramming: Training a Language Model on a Single GPU in One Day [64.2]
    言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
    論文  参考訳(メタデータ)   (Wed, 28 Dec 2022 18:59:28 GMT)
  • 自然言語処理のタスクについて1GPU dayでどこまで性能を伸ばせるかを検証した論文。非常に興味深い設定で広範な実験がされている。
  • データセットによる差、1 GPU dayとはいえ、GPUの種類(≒計算資源)による差についても面白い。
  • リポジトリはGitHub – JonasGeiping/cramming: Cramming the training of a (BERT-type) language model into limited compute.

Language Models as Inductive Reasoners

  • Language Models as Inductive Reasoners [141.3]
    本稿では,自然言語の事実から自然言語規則を誘導するタスクを提案する。 自然言語を論理言語ではなく知識の表現として使用し、事前学習した言語モデルを「推論者」として使用します。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
    論文  参考訳(メタデータ)   (Wed, 21 Dec 2022 11:12:14 GMT)
  • 言語モデルにより帰納法を実現できるかの研究。モデル構築も評価も難しい問題。
  • 本件のために12K規模のデータセットを作成、chain-of-language-models (CoLM)というフレームワークを提案、ベースラインを超えたと主張。
    (ただし性能は高くなさそう…)
  • コードなどは公開予定とのこと

CommunityLM

  • CommunityLM: Probing Partisan Worldviews from Language Models [11.8]
    コミュニティ言語モデルであるCommunityLMを用いて,同じ質問に対するコミュニティ固有の回答を探索するフレームワークを使用している。 当社のフレームワークでは、Twitter上の各コミュニティメンバーと、彼らによって書かれたツイートに関する微調整LMを識別しています。 次に、対応するLMのプロンプトベース探索を用いて、2つのグループの世界観を評価する。
    論文  参考訳(メタデータ)   (Thu, 15 Sep 2022 05:52:29 GMT)
    • 支持政党のデータを用いて言語モデルを作り、そのモデルへの質問と回答を通して状況を探ろうという研究。デジタルツインっぽくて興味深い。GPT-3よりも特化してモデルを作った方が良い結果。

大規模言語モデルと遺伝的プログラミング

  • Evolution through Large Models [15.0]
    • コードを生成するために訓練された大言語モデル(LLM)は、遺伝的プログラミング(GP)プログラムに適用された突然変異演算子の有効性を大幅に改善することができる。 大型モデル(ELM)による進化の広大さを強調するため、ELMとMAP-Elitesを組み合わせたメイン実験では、動作補助ロボットを出力するPythonプログラムの数十万の関数例が生成される。 トレーニングデータがこれまで利用できなかったドメインにおいて、特定のコンテキストに対して適切なアーティファクトを出力できる新しいモデルをブートストラップする機能には、オープンディペンデンス、ディープラーニング、強化学習といった意味がある。
    • 論文  参考訳(メタデータ)   (Fri, 17 Jun 2022 17:07:04 GMT)
      • 遺伝的プログラミングに大規模言語モデルを組み合わせる(Evolution through Large Models)ことで大規模言語モデルが想定しないような事例にも対応可能なコードを生成することが可能とのこと。
      • 論文にもあるようにLLMを使っていれば突然変異の範囲が限定され、より良いものが得られる可能性が高まるように思う。非常に興味深い。

Delta Tuning: 事前学習モデルの効率的なチューニング

  • Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.2]
    標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
    論文  参考訳(メタデータ)   (Mon, 14 Mar 2022 07:56:32 GMT)

Lexiconを用いた事前学習モデルの拡張

LM4MT(Language Models for Machine translation): 翻訳のための言語モデル

  • Language Models are Good Translators [63.5]
    単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
    論文  参考訳(メタデータ)   (Fri, 25 Jun 2021 13:30:29 GMT)
    • 現状のニューラル機械翻訳ではエンコーダ・デコーダ型のアーキテクチャが良く用いられるが言語モデルのアーキテクチャでも十分な性能が得られたとの報告。多言語間で統一的な内部表現であることからかmultilingual NMT のゼロショット翻訳ではtransformerより優れているとのこと。