BenTo: Benchmark Task Reduction with In-Context Transferability

  • BenTo: Benchmark Task Reduction with In-Context Transferability [32.6]
    本稿では,大規模言語モデル(LLM)のベンチマークに使用するタスクを効率的に削減する方法を検討する。 In-context Learning (ICL) による2つのタスク間の伝達可能性を推定する実用的な指標を提案する。
    論文  参考訳(メタデータ)   (Thu, 17 Oct 2024 17:41:15 GMT)
  • 評価が難しいLLM評価用のタスクを効率的に削減する手法の提案。Benchmark Task reductiOn (BENTO)は無理があるのでは、、、と思わなくはないがとても面白い研究。
  • リポジトリはGitHub – tianyi-lab/BenTo: Code for “BENTO: benchmark reduction with in-context learning transferability”

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です