Code Generation – arXiv最新論文の紹介

CoNT: Contrastive Neural Text Generation

CoNT: Contrastive Neural Text Generation [83.1]
対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。 CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5つの生成タスクで検証する。CoNTは、機械翻訳における1.50 BLEUと要約における1.77 ROUGE-1という、テキスト生成における最も競争力のあるコントラスト学習手法をそれぞれ上回っている。
論文参考訳（メタデータ） (Sun, 29 May 2022 15:18:37 GMT)
- テキスト生成系タスクのためビームサーチの結果を利用したContrastive Lerningの提案。翻訳や要約など多種のタスクで性能を改善（T5やPEGASUSをさらに改善）。ただし学習は2-4倍遅くなるとのこと。
- リポジトリはGitHub – Shark-NLP/CoNT: Code and datasets for our paper: “CoNT: Contrastive Neural Text Generation”

CodeReviewer: Pre-Training for Automating Code Review Activities [36.4]
本研究は,コードレビューシナリオにおけるタスクの事前学習技術を活用することに焦点を当てる。私たちは、最も人気のある9つのプログラミング言語で、オープンソースのプロジェクトから、現実世界のコード変更とコードレビューの大規模なデータセットを収集します。コード差分とレビューをよりよく理解するために、コードレビューセナリオに特化した4つの事前トレーニングタスクを利用する事前トレーニングモデルであるCodeReviewerを提案する。
論文参考訳（メタデータ） (Thu, 17 Mar 2022 05:40:13 GMT)
- コードレビューのため「Code Change Quality Estimation」「Code Review Generation」「Code Refinement 」という3つのタスクを提案、データセットを作成、モデル構築・評価を実施したとのこと。1つ1つが簡単ではないタスクのように思えるが、自動化できるととても有用そう。
- コードやデータは公開予定とのこと

Investigating Explainability of Generative AI for Code through Scenario-based Design [44.4]
生成AI(GenAI)技術は成熟し、ソフトウェア工学のようなアプリケーションドメインに適用されています。私たちは43人のソフトウェアエンジニアと9つのワークショップを開催しました。そこでは、最先端のジェネレーティブAIモデルの実例を使って、ユーザの説明可能性のニーズを導き出しました。我々の研究は、GenAIのコードに対する説明可能性の必要性を探求し、新しいドメインにおけるXAIの技術開発を人間中心のアプローチがいかに促進するかを実証する。
論文参考訳（メタデータ）参考訳（全文） (Thu, 10 Feb 2022 08:52:39 GMT)
- 最近流行りつつあるコード生成を対象としたXAIの整理。ワークショップを行い11のカテゴリを特定とのこと。通常のXAIでは見られない（具体化されていない？）項目もあって興味深い。
  - Input、Output、How(global) 、Perfomance、How to 、Control、Why / Why not、Data、System Requirement & Impact、Limitation、What if

コード自動生成や数学問題取り扱いなど難しい問題に対応できるAIが増えている。両方とも未来を感じるとともに怖さも感じる結果。

DeepMindが競技プログラミングを解けるレベルの自動コード生成が可能なAlphaCodeを発表
- Competitive programming with AlphaCode | DeepMind
OpenAIは数学オリンピックの問題を解く（大幅に性能向上させた）AIを発表　
- Solving (Some) Formal Math Olympiad Problems (openai.com)

A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More [8.4]
質問をプログラミングタスクに変換し、プログラムを自動的に生成し、実行します。これは、大学レベルの数学コースの質問を自動的に解き、評価し、生成する最初の作品である。
論文参考訳（メタデータ） (Fri, 31 Dec 2021 18:57:31 GMT)
- （深層学習で解くのは難しいとされていた）数学の問題が事前学習済みモデル（Transformer）＋プログラミングタスクとしてのfine tuningで解けるとの報告。