- CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.4]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳（メタデータ） (Thu, 20 Jun 2024 16:59:52 GMT) - コード生成におけるRAGの検証。コード生成では効果があるが、Retrieveが難しいという意外な結果。
- プロジェクトサイトはCodeRAG-Bench: Can Retrieval Augment Code Generation? (code-rag-bench.github.io)