Can Programming Languages Boost Each Other via Instruction Tuning?

  • Can Programming Languages Boost Each Other via Instruction Tuning? [31.2]
    本稿では,コード大言語モデルの微調整段階において,プログラミング言語が相互に強化できるかどうかを検討する。StarCoder上で8つの人気のあるプログラミング言語(Python、JavaScript、TypeScript、C、C++、Java、Go、HTML)の実験を行います。 結果は、プログラミング言語が互いに著しく改善できることを示しています。
    論文  参考訳（メタデータ）   (Thu, 31 Aug 2023 15:53:51 GMT)
  • 異なるプログラミング言語に関するfine tuningが他のプログラミング言語のコード生成に良い影響を与えるかを検証した論文。結果は効果がある。
  • 「CODEM-Python 15B trained on Python is able to increase Java by an absolute 17.95% pass@1 on HumanEval-X.」はまぁ分かるとして「 CODEM-HTML 7B trained on the HTML corpus can improve Java by an absolute 15.24% pass@1.」は不思議。結果を見るとなんとなく近い言語がより強化されているように見える気はする。
  • リポジトリはGitHub – NL2Code/CodeM

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です