コンテンツへスキップ
- Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge [78.3]
そこで我々は,Thinking-LLM-as-a-Judgeの優先最適化アルゴリズムであるEvalPlannerを提案する。 自己学習ループでは、EvalPlannerは、合成的に構築された評価計画と実行よりも反復的に最適化する。 提案手法はRewardBenchにおける生成報酬モデルのための新しい最先端性能を実現する。
論文 参考訳（メタデータ） (Thu, 30 Jan 2025 02:21:59 GMT)
- Thinking-LLM-as-a-Judgeモデルを構築するための新しい手法EvalPlannerの提案。合成データ構築＋self-training loopな構成、ベンチマークでSelf taught evaluaterなど競合手法を超える性能とのこと。
- Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement [41.9]
本研究では,ワールドナレッジツリーと自己回帰リファインメントを組み込んだ2段階合成データ生成フレームワークであるCondorを導入し,高品質なSFTデータを大規模に生成する。 実験結果から,20Kコンドル生成サンプルのみを微調整したベースモデルでは,本モデルよりも優れた性能が得られた。
論文 参考訳（メタデータ） (Tue, 21 Jan 2025 16:44:12 GMT)
- SFTのための合成データ構築手法の提案、World Knowledge Treeを用いるアプローチ。圧縮された知識を解凍、わかりやすく言葉にして学習させている感があって面白い。
- リポジトリはGitHub – InternLM/Condor
- ExeCoder: Empowering Large Language Models with Executability Representation for Code Translation [37.3]
コード翻訳は、ソフトウェア開発とメンテナンスプロセスにおいて重要な活動です。 既存の大きな言語モデル(LLM)は、事前トレーニング中にのみコードのコンテキスト意味を学習する。 コード翻訳に特化したLLMであるExeCoderを提案する。
論文 参考訳（メタデータ） (Thu, 30 Jan 2025 16:18:52 GMT)
- 通常のコード生成とは問題が異なるコード翻訳に特化したLLMの提案。「The key idea of ExeCoder is to enhance the capabilities of LLMs in code translation by leveraging executability representations such as functional semantics, syntactic structure, and variable dependencies in code.」というアプローチ。DeepseekCoder-6.7b-instructをベースモデルとして商用APIを超える性能、SOTAを主張。
- プロジェクトサイトはExeCoder: Empowering Large Language Models with Executability Representation for Code Translation