コンテンツへスキップ
- Textbooks Are All You Need [46.8]
phi-1はトランスフォーマーベースのモデルで、1.3Bパラメータを持ち、8A100で4日間訓練された。 phi-1はHumanEvalで50.6%、MBPPで55.5%の精度を達成した。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 16:14:25 GMT)
- 教科書品質のデータ（6B）＋GPT-3.5が出力した品質の高いテキスト（1B）を用いて、1.3Bパラメータ（使用計算リソース 8 GPU * 4 days）という比較的小型で優れた性能を持つモデルが構築できたとのこと
- タスクがコード生成かつPythonと特化されている点に注意が必要だが、品質の高いデータの重要性が分かる報告。パラメータは小さめと言いつつ、パラメータ拡大が品質向上に効果がありそうに見える。
- MarioGPT: Open-Ended Text2Level Generation through Large Language Models [9.9]
タイルベースのゲームレベルを生成するために訓練された細調整GPT2モデルであるMarioGPTを紹介する。 我々は,MarioGPTが多様なレベルを生成できるだけでなく,制御可能なレベル生成のためにテキストをプロンプできることを示す。
論文 参考訳（メタデータ） (Sun, 12 Feb 2023 19:12:24 GMT)
- Text2Level Generationという名称のテキストからのゲーム面の生成。これを生成してみようと思うのが面白い。
- （割とどうでもよいが）内部的にはテキストを合成しているのでテキスト生成にカテゴライズするのが良いのか、プログラムのソースコード相当と考えてコード自動生成とするか悩ましい。
- On the Structural Generalization in Text-to-SQL [36.6]
データベーススキーマ(DS)の構造的多様性について検討する。 同じ入力問題に直面して、DSが別の構造となると、ターゲットSQLはおそらく異なる方法で表現される。 本稿では,テキストからsqlへのタスクの構造的一般化に関する深い議論を行う。実験では, 十分に訓練されたテキスト-SQLモデルの評価において, 構造一般化に関する現在の研究の限界が示される。 包括的分析によると、実際的な理由は(NL, SQL)パターンの過剰適合である。
論文 参考訳（メタデータ） (Thu, 12 Jan 2023 02:52:51 GMT)
- 現在のText-to-SQLのデータセットがテンプレート化されすぎていて汎化性能を測るには適切ではなく、overfittingが生じているとの指摘。
- ReCode: Robustness Evaluation of Code Generation Models [90.1]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文 参考訳（メタデータ） (Tue, 20 Dec 2022 14:11:31 GMT)
- コード生成の頑健性を評価するためのベンチマーク
- GitHub – amazon-science/recode
- A Survey on Natural Language Processing for Programming [42.9]
全スペクトルから関連する著作を体系的にレビューする文献は存在しない。 本論文は, 初期の演能モデルから最新の競争レベルモデルまで, 既存の研究を包括的に調査する。 この論文のもう1つの利点はテクニックカテゴリの完全性であり、将来の作品の配置と比較を簡単に行うことができる。
論文 参考訳（メタデータ） (Mon, 12 Dec 2022 08:51:30 GMT)
- 自然言語処理をプログラミングに応用する取り組みのサーベイ
- 最近は生成がよくニュースになるが、それ以外にも様々なタスクがあることが分かる
- ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages [37.6]
同じプログラミング言語(PL)を扱うソフトウェアエンジニアは、異なる自然言語(NL)を話し、その逆も話す。 近年の研究では、コンピュータプログラムにおける生成前訓練の有効性が実証されているが、それらは常に英語中心である。 ERNIE-Codeは116個のNLと6個のPLのための統合事前学習言語モデルである。
論文 参考訳（メタデータ） (Tue, 13 Dec 2022 17:21:44 GMT)
- マルチリンガルなcode-to-text, text-to-code, code-to-code, text-to-text
- translate-trainとzero-shotの比較も興味深い。
- Execution-based Evaluation for Data Science Code Generation Models [98.0]
データサイエンスコード生成タスクの実行評価のための評価データセットであるExeDSを紹介する。 ExeDSにはJupyter Notebooksの534の問題が含まれており、それぞれがコードコンテキスト、タスク記述、参照プログラム、望ましい実行出力で構成されている。 表面形状評価スコアを高い精度で達成した5つの最先端コード生成モデルの実行性能を評価する。
論文 参考訳（メタデータ） (Thu, 17 Nov 2022 07:04:11 GMT)
- データサイエンスの問題を解くためのコード生成ベンチマークの提案。より実用的なタスク（＆評価）で面白い。
- 生成されたコードの近さとアウトプットの近さには距離があるのは直感通りとして、Codeexがコード的には遠いがアウトプットではまずまずの結果を出している点が興味深い。意味まで理解しているっぽい動き。
- https://github.com/Jun-jie-Huang/ExeDSがリポジトリとのことだが、現時点では404
- CodeT: Code Generation with Generated Tests [49.6]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳（メタデータ） (Thu, 21 Jul 2022 10:18:37 GMT)- コードを自動生成する際、テストケースも生成、２つを使ってベストなソリューションを得る手法の提案。HumanEval でSoTAとのこと。
- DocCoder: Generating Code by Retrieving and Reading Docs [87.9]
コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。 我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
論文 参考訳（メタデータ） (Wed, 13 Jul 2022 06:47:51 GMT)
- A Conversational Paradigm for Program Synthesis [110.9]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (Mon, 28 Mar 2022 17:10:30 GMT)