2024年3月1日 – arXiv最新論文の紹介

LLM用金融ベンチマークと金融特化型LLM

LLMでも金融分野の研究は多い。

The FinBen: An Holistic Financial Benchmark for Large Language Models [75.1]
FinBenは、金融分野におけるLLMの能力を徹底的に評価するために設計された、初めての包括的なオープンソース評価ベンチマークである。 FinBenは、23の財務タスクにわたる35のデータセットを含み、Cattell-Horn-Carroll理論にインスパイアされた3つの難易度に分類されている。 GPT-4, ChatGPT, そして最新のGeminiを含む15の代表的なLLMを評価した結果, 金融分野におけるその強みと限界についての知見が得られた。
論文参考訳（メタデータ） (Tue, 20 Feb 2024 02:16:16 GMT)
金融分野におけるLLMの評価用ベンチマーク、GPT-4はさすがの性能だがGeminiもよい線を行っていてタスクによっては優れている。Gemini Proの結果のようであり、Ultraが楽しみ
リポジトリはThe-FinAI/PIXIU: This repository introduces PIXIU, an open-source resource featuring the first financial large language models (LLMs), instruction tuning data, and evaluation benchmarks to holistically assess financial LLMs. Our goal is to continually push forward the open-source development of financial artificial intelligence (AI). (github.com)

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models [20.0]
FinTralは、Mistral-7bモデルに基づいて構築され、財務分析用に調整された、最先端のマルチモーダル言語モデル(LLM)のスイートである。我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
論文参考訳（メタデータ） (Fri, 16 Feb 2024 05:05:12 GMT)
こちらはMistralをベースにしたLLM
ドメイン特化であれば7BでGPT-4と十分戦える点は面白い

Benchmarking Retrieval-Augmented Generation for Medicine [30.4]
大規模言語モデル(LLM)は、幅広い医療質問応答(QA)タスクにおいて最先端のパフォーマンスを達成した。 Retrieval-augmented Generation(RAG)は有望なソリューションであり、広く採用されている。我々は、5つの医療QAデータセットから7,663の質問を含む第一種ベンチマークであるMIRAGE(Medicical Information Retrieval-Augmented Generation Evaluation)を提案する。
論文参考訳（メタデータ） (Tue, 20 Feb 2024 17:44:06 GMT)
ベンチマークを作成し医療分野でのRAGの有効性について検証、CoTとの比較や使用しているLLMごとの差異などとても興味深い結果になっている。BM25ってやはりかなり優秀なのでは。
リポジトリはMIRAGE：Teddy-XiongGZ/MIRAGE: Official repository of the MIRAGE benchmark (github.com)、MEDRAG:Teddy-XiongGZ/MedRAG: Code for the MedRAG toolkit (github.com)

Do Membership Inference Attacks Work on Large Language Models? [145.9]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文参考訳（メタデータ） (Mon, 12 Feb 2024 17:52:05 GMT)
LLMへのメンバシップ推論攻撃は有効ではないのでは？という報告。「We identify specific settings where LLMs have been shown to be vulnerable to membership inference and show that the apparent success in such settings can be attributed to a distribution shift, such as when members and non-members are drawn from the seemingly identical domain but with different temporal ranges.」と手厳しい。結論にも書いてあったが、こういった特性を理解せずに何かに応用するのは危険であると思う。
リポジトリはiamgroot42/mimir: Python package for measuring memorization in LLMs (github.com)