FLAME: A small language model for spreadsheet formulas

  • FLAME: A small language model for spreadsheet formulas [12.4]
    本稿では,Excel の式に基づいて訓練された T5 ベースのモデル FLAME について述べる。 スケッチの重複を利用してトレーニングデータセットをキュレートし、Excel固有の式トークンを導入し、マスク付きスパン予測のドメイン固有のバージョンとノイズの多い自動エンコーディングを事前学習目的として使用する。 FLAME (60M) は、Codex-Davinci (175B)、Codex-Cushman (12B)、CodeT5 (220M) など、より大型のモデルよりも10セット中6セットで優れている。
    論文  参考訳（メタデータ）   (Tue, 31 Jan 2023 17:29:43 GMT)
  • Excelを対象にしたプログラム（？）用言語モデル。大規模言語モデルを用いた実装にくべて極めて小さなパラメータ数、データで構築を行っているにもかかわらずパフォーマンスは十分（6/10タスクで他を上回る）とのこと
  • 巨大モデル全盛ではあるが、十分に使えるものを作るという点で興味深い。（FLAME自体小規模というにはやや抵抗が無いわけではないが。。。）

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です