- SCROLLS: Standardized CompaRison Over Long Language Sequences [62.6]
SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
論文 参考訳（メタデータ） (Mon, 10 Jan 2022 18:47:15 GMT)- 一般的に対応が難しい長文を対象としたベンチマーク。タスクは要約、QAなど。
- プロジェクトサイトはSCROLLS Benchmark (scrolls-benchmark.com)、huggingfaceからも確認可能tau/scrolls · Datasets at Hugging Face