MigrationBench: Repository-Level Code Migration Benchmark from Java

  • MigrationBench: Repository-Level Code Migration Benchmark from Java 8 [18.6]
    MigrationBenchは、Java 8 ドルから最新の長期サポート (LTS) バージョン (Java 17、21 ) への移行のための包括的なベンチマークである。 この課題に対する大規模言語モデル(LLM)の厳密で標準化された評価を容易にするための総合的な評価フレームワークを提供する。 Claude-3.5-Sonnet-v2 で選択されたサブセットに対して、SD-Feedback は、それぞれ、最小と最大のマイグレーションに対して、62.33%$と27.33%$成功率(pass@1)を達成している。
    論文  参考訳(メタデータ)   (Mon, 19 May 2025 16:10:21 GMT)
  • バージョン間移植に焦点を当てたベンチマークの提案。実用上大事なタスク。「We demonstrate the feasibility of code migration from Java 8 to 17 through a deterministic workflow with SD-Feedback, and show preliminary results with promising efficacy for both minimal (62.33%) and maximal (27.33%) migration for the selected subset with Claude-3.5-Sonnet-v2.」とのこと。
  • リポジトリはGitHub – amazon-science/MigrationBench

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です