大規模言語モデルと遺伝的プログラミング

  • Evolution through Large Models [15.0]
    • コードを生成するために訓練された大言語モデル(LLM)は、遺伝的プログラミング(GP)プログラムに適用された突然変異演算子の有効性を大幅に改善することができる。 大型モデル(ELM)による進化の広大さを強調するため、ELMとMAP-Elitesを組み合わせたメイン実験では、動作補助ロボットを出力するPythonプログラムの数十万の関数例が生成される。 トレーニングデータがこれまで利用できなかったドメインにおいて、特定のコンテキストに対して適切なアーティファクトを出力できる新しいモデルをブートストラップする機能には、オープンディペンデンス、ディープラーニング、強化学習といった意味がある。
    • 論文  参考訳(メタデータ)   (Fri, 17 Jun 2022 17:07:04 GMT)
      • 遺伝的プログラミングに大規模言語モデルを組み合わせる(Evolution through Large Models)ことで大規模言語モデルが想定しないような事例にも対応可能なコードを生成することが可能とのこと。
      • 論文にもあるようにLLMを使っていれば突然変異の範囲が限定され、より良いものが得られる可能性が高まるように思う。非常に興味深い。