- Agents in Software Engineering: Survey, Landscape, and Vision [46.0]
大規模言語モデル(LLM)は目覚ましい成功を収め、下流の様々なタスクで広く使われてきた。 LLMとソフトウェア工学(SE)を組み合わせた多くの研究では、明示的にも暗黙的にもエージェントの概念が採用されている。 本稿では,知覚,記憶,行動の3つの重要なモジュールを含む,SE における LLM ベースのエージェントのフレームワークを提案する。
論文 参考訳（メタデータ） (Fri, 13 Sep 2024 17:55:58 GMT) - Large Language Model-Based Agents for Software Engineering: A Survey – arXiv最新論文の紹介 (devneko.jp)とは別のチームによるソフトウェアエンジニアリングにおけるエージェント活用のサーベイ。エージェント側の技術に注目したものになっている。
- リポジトリはGitHub – DeepSoftwareAnalytics/Awesome-Agent4SE
日: 2024年9月26日
A Controlled Study on Long Context Extension and Generalization in LLMs
- A Controlled Study on Long Context Extension and Generalization in LLMs [85.5]
広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
論文 参考訳（メタデータ） (Wed, 18 Sep 2024 17:53:17 GMT) - 長文の取り扱いに関する手法の評価、「Our study underscores the role of perplexity as a crucial, performance indicator at length and highlights the trade-offs inherent in different attention mechanisms.」
- リポジトリはGitHub – Leooyii/LCEG: Long Context Extension and Generalization in LLMs