日: 2023年8月21日

Platypus

  • Platypus: Quick, Cheap, and Powerful Refinement of LLMs [10.2]
    プラティパス(英: Platypus)は、大規模言語モデル(Large Language Models)のファミリーである。 13B Platypusモデルは、$textita single$ A100 GPUで5時間で25kの質問を使ってトレーニングできる。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 17:59:56 GMT)
  • HuggingFaceのOpen LLM Leaderboardで現状トップのLLMに関する論文。fine-tuned variant of LLaMa-2であるが、13B modelがA100(80GB)×1で5時間、70B model もA100(80GB)×4で22 時間でfine tuningできたというのは興味深い。非常に効率的。
  • プロジェクトサイトはPlatypus (platypus-llm.github.io)

先週はアリババのQwen-7B/README_JA.md at main · QwenLM/Qwen-7B · GitHub（ライセンスはLlama2似ていて一定ユーザ数を超える商用利用は別途の扱うとなる）や松尾研の東京大学松尾研究室 100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開 ―オープンソースの日本語大規模言語モデルで最高水準―｜プレスリリース | UTokyo-Eng (u-tokyo.ac.jp)（ライセンスはCC BY-NC）など日本語が使用可能なLLMの公開がされた。ライセンスは様々であるが少なくとも研究用途であればかなり自由に使えるため非常にありがたい。

CausalLM is not optimal for in-context learning

  • CausalLM is not optimal for in-context learning [21.6]
    最近の経験的証拠は、プレフィックス言語モデル(LM)を用いる場合、コンテクスト内学習に基づくトランスフォーマーがより優れていることを示している。 この結果は直感的であるが、理論的には理解されていない。 本研究では,あるパラメータ構成の下で,プレフィックスLMと因果LMの収束挙動を理論的に解析する。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 03:14:38 GMT)
  • in-context learningの理論的解析と実証実験、「In particular, the stationary points of prefixLM coincides with the optimal least square solution; while the ones of causalLM is equivalent to the weights of an online learning system, that is not guaranteed to converge to the optimal solution.」とのことで「Our experiments verify that causalLM consistently underperforms prefixLM in all settings.」という結論
  • LLM利用でICLはかなり有力＆causalLMの流行を考えると面白い結果。