- From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples [17.4]
我々は,Llama2,GPT-4,Claude 3などの事前学習された大規模言語モデルが,文脈内例が与えられた場合の線形回帰や非線形回帰をいかにうまく行うかを分析する。 いくつかの大きな言語モデルでは、従来の教師付きメソッドに匹敵する(あるいはパフォーマンスに優れる)パフォーマンスで回帰タスクを実行できる。
論文 参考訳（メタデータ） (Thu, 11 Apr 2024 08:12:43 GMT) - GradientBoostingの結果など怪しげな部分はありつつ、またデータセット構築過程から言ってLRの結果反則じゃね？とかいろいろ思うところはあるが興味深い結果。元の数式を予測しに行っているとかだととても面白い。LLMにとって未知のデータ（Leakがないことが保証されているデータ）で検証してみたいところ。
- robertvacareanu/llm4regression: Examining how large language models (LLMs) perform across various synthetic regression tasks when given (input, output) examples in their context, without any parameter update (github.com)