コンテンツへスキップ
- CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data [61.1]
CausalBenchは、大規模摂動単細胞遺伝子発現データに基づくネットワーク推定手法を評価するための総合ベンチマークスイートである。 CaulBenchは、摂動下で生成された単一セルデータから遺伝子制御ネットワークの推論方法を評価するために、2つの大きく、キュレートされ、公開されているベンチマークデータセットを運用している。
論文 参考訳（メタデータ） (Mon, 31 Oct 2022 13:04:07 GMT)
- 大規模な（摂動下の）遺伝子発現のベンチマーク
- Lila: A Unified Benchmark for Mathematical Reasoning [60.0]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳（メタデータ） (Mon, 31 Oct 2022 17:41:26 GMT)
- 数学的な推論のためのデータセット。23タスク44データセットと大規模。GPT-Neo-2.7Bをfinetuneしたモデル、GPT-3/Codexのfew shotで検証されておりCodexが比較的高性能。ただ、スコアは高くない。
- ECTSum: A New Benchmark Dataset For Bullet Point Summarization of Long Earnings Call Transcripts [20.0]
我々は、公開企業によって運営されている決算書(ECT)を文書として、新たなデータセットを提示する。 重要な事実を正確に捉えるために、単純なyet- Effective(ECT-BPS)アプローチも提案する。
論文 参考訳（メタデータ） (Wed, 26 Oct 2022 16:21:37 GMT)
- DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models [14.3]
DiffusionDBは、最初の大規模なテキストと画像のプロンプトデータセットである。 データセット内のプロンプトを分析し、これらのプロンプトの重要な特性について議論する。 この人間の活動するデータセットの、前例のないスケールと多様性は、エキサイティングな研究機会を提供する。
論文 参考訳（メタデータ） (Wed, 26 Oct 2022 17:54:20 GMT)- 200万件のプロンプト・画像のペア。Stable Diffusion discord serverから取得されたとのこと。ライセンスはCC-0。
- 画像生成のプロンプトは（生成モデルが用いたデータに共通部分が多いこともあって）使いまわせる要素がある。傾向分析には有用そう。
- Breaking Bad: A Dataset for Geometric Fracture and Reassembly [47.2]
本稿では,破壊対象の大規模データセットであるBreaking Badを紹介する。 私たちのデータセットは、1万のベースモデルからシミュレートされた100万以上の破砕物で構成されています。
論文 参考訳（メタデータ） (Thu, 20 Oct 2022 17:57:19 GMT)
- Doc2Bot: Accessing Heterogeneous Documents via Conversational Bots [103.5]
Doc2Botは、ユーザーが会話を通じて情報を求めるのを助けるマシンを構築するためのデータセットである。 われわれのデータセットには、5つのドメインの中国の文書に基づく10万回以上のターンが含まれている。
論文 参考訳（メタデータ） (Thu, 20 Oct 2022 07:33:05 GMT)
- LAION-5B: An open large-scale dataset for training next generation image-text models [16.1]
我々は585億のCLIPフィルタリング画像テキストペアからなるデータセットであるLAION-5Bを紹介し、そのうち2.32Bは英語を含む。 このデータセットを用いて,CLIP,GLIDE,Stable Diffusionといった基礎モデルのレプリケーションと微調整に成功した。 また、近接するいくつかのインデックス、データセット探索のためのWebインターフェースの改善、サブセット生成も提供しています。
論文 参考訳（メタデータ） (Sun, 16 Oct 2022 00:08:18 GMT)
- Language Models are Multilingual Chain-of-Thought Reasoners [83.4]
本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。 MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。 言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
論文 参考訳（メタデータ） (Thu, 6 Oct 2022 17:03:34 GMT)- GSM8Kデータセットから,250の問題を手動で翻訳して Multilingual Grade School Math (MGSM)ベンチマークを作成し多言語における大規模言語モデルの性能評価
- EN-COT > Native-COTである点は興味深い（そして翻訳を介するのがもっとの性能が高いのも…）
- リポジトリはgoogle-research/url-nlp (github.com)
- MEDFAIR: Benchmarking Fairness for Medical Imaging [44.7]
MEDFAIRは、医療画像のための機械学習モデルの公正性をベンチマークするフレームワークである。 モデル選択基準の未検討の問題は、公正な結果に重大な影響を及ぼす可能性がある。 異なる倫理的原則を必要とするさまざまな医療応用シナリオを推奨する。
論文 参考訳（メタデータ） (Tue, 4 Oct 2022 16:30:47 GMT)
- WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions from Paragraphs [66.9]
ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。 データセットは、6987のトピックに関する80K以上の英語サンプルで構成されている。 本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
論文 参考訳（メタデータ） (Tue, 27 Sep 2022 01:28:02 GMT)- Wikipediaの最初の段落とWikidataの説明を関連付けしたデータセット。平均的なドキュメントサイズが小さめで段落をさらに短く説明するようなデータになっている。