- Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference [49.0]
人間の好みに基づいた大規模言語モデル(LLM)を評価するオープンプラットフォームであるArenaを紹介する。 本手法は,クラウドソーシングを通じて,多種多様なユーザベースからのインプットを活用する。 本稿では,このプラットフォームについて述べるとともに,これまでに収集したデータを分析し,実際に使用している統計的手法について説明する。
論文 参考訳（メタデータ） (Thu, 7 Mar 2024 01:22:38 GMT) - Chatbot Arenaの論文、論文化されていなかったことに驚き。なかなか評価の難しいLLM界隈において重要な貢献だと思う。
- プロジェクトサイトはChat with Open Large Language Models (lmsys.org)
日: 2024年3月14日
Datasets for Large Language Models
- Datasets for Large Language Models: A Comprehensive Survey [37.2]
この調査は、LLMデータセットの基本的側面を5つの観点から統合し、分類する。 この調査は、一般的な課題を浮き彫りにし、今後の調査への道のりを指摘している。 調査対象のデータサイズは、事前トレーニングのコーパスが774.5TB、他のデータセットが700万インスタンスを超えている。
論文 参考訳（メタデータ） (Wed, 28 Feb 2024 04:35:51 GMT) - LLM向けデータセットのサーベイ。日本語を含むものはあれど、日本語をターゲットに作られたものは少ない。
- リポジトリはlmmlzn/Awesome-LLMs-Datasets: Summarize existing representative LLMs text datasets. (github.com)