タグ: データセット

FormLM

  • FormLM: Recommending Creation Ideas for Online Forms by Modelling Semantic and Structural Information [33.7]
    オンラインフォームをモデル化し、フォーム作成のアイデアを推奨するためにFormLMを提示します。 モデルトレーニングと評価のために、62Kのオンラインフォームを持つ最初の公開オンラインフォームデータセットを収集する。 実験の結果,FormLMはすべてのタスクにおいて汎用言語モデルよりも優れていた。
    論文  参考訳（メタデータ）   (Thu, 10 Nov 2022 01:32:55 GMT)
  • オンラインアンケートなどのフォーム生成を支援するためのモデルの提案、データセットから構築している。「Form Creation Ideasは過去には体系的に研究されていない」というのはその通りだと思う…実用的なタスクとPLMを用いた問題解決の方針が参考になる。
  • プロジェクトサイトはhttps://github.com/microsoft/FormLMとのことだが、現時点では404。

MACSum: Controllable Summarization with Mixed Attributes

  • MACSum: Controllable Summarization with Mixed Attributes [56.7]
    MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
    論文  参考訳（メタデータ）   (Wed, 9 Nov 2022 17:17:37 GMT)
  • 複数の属性で制御可能な要約モデル（とデータセット）の提案。制御可能な点は「Topic, Speaker, Length, Extractiveness, Specificity」、よく動けば非常に理想形に近いように思う。残念ながら「We explore the hard prompt and soft prefix models to show this is a challenging task as a large gap between machine learning models and human still exists.」とのことだが、研究の進展を期待。
  • リポジトリはpsunlpgroup/MACSum: This repository maintains dataset, metrics, and models for paper MACSUM: Controllable Summarization with Mixed Attributes. (github.com)

Causal Bench

  • CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data [61.1]
    CausalBenchは、大規模摂動単細胞遺伝子発現データに基づくネットワーク推定手法を評価するための総合ベンチマークスイートである。 CaulBenchは、摂動下で生成された単一セルデータから遺伝子制御ネットワークの推論方法を評価するために、2つの大きく、キュレートされ、公開されているベンチマークデータセットを運用している。
    論文  参考訳（メタデータ）   (Mon, 31 Oct 2022 13:04:07 GMT)
  • 大規模な（摂動下の）遺伝子発現のベンチマーク

LILA(Lilavatiより？)

  • Lila: A Unified Benchmark for Mathematical Reasoning [60.0]
    LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
    論文  参考訳（メタデータ）   (Mon, 31 Oct 2022 17:41:26 GMT)
    • 数学的な推論のためのデータセット。23タスク44データセットと大規模。GPT-Neo-2.7Bをfinetuneしたモデル、GPT-3/Codexのfew shotで検証されておりCodexが比較的高性能。ただ、スコアは高くない。

ECTSum

  • ECTSum: A New Benchmark Dataset For Bullet Point Summarization of Long Earnings Call Transcripts [20.0]
    我々は、公開企業によって運営されている決算書(ECT)を文書として、新たなデータセットを提示する。 重要な事実を正確に捉えるために、単純なyet- Effective(ECT-BPS)アプローチも提案する。
    論文  参考訳（メタデータ）   (Wed, 26 Oct 2022 16:21:37 GMT)
    • Earnings Call（業績報告）のTranscriptと対応するロイターの記事を用いた要約データセットの提案。圧縮率が103.67と極めて高い。これらデータをうまく要約可能なECT-BPSというモデルも提案されている
      • FinBERTを用いたExtractiveモジュールとT5ベースのParaphasingモジュールの組み合わせ
    • リポジトリはrajdeep345/ECTSum: ECTSum Dataset and Codes (github.com)

DiffusionDB

  • DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models [14.3]
    DiffusionDBは、最初の大規模なテキストと画像のプロンプトデータセットである。 データセット内のプロンプトを分析し、これらのプロンプトの重要な特性について議論する。 この人間の活動するデータセットの、前例のないスケールと多様性は、エキサイティングな研究機会を提供する。
    論文  参考訳（メタデータ）   (Wed, 26 Oct 2022 17:54:20 GMT)
    • 200万件のプロンプト・画像のペア。Stable Diffusion discord serverから取得されたとのこと。ライセンスはCC-0。
      • 画像生成のプロンプトは（生成モデルが用いたデータに共通部分が多いこともあって）使いまわせる要素がある。傾向分析には有用そう。

Breaking Bad: A Dataset for Geometric Fracture and Reassembly

  • Breaking Bad: A Dataset for Geometric Fracture and Reassembly [47.2]
    本稿では,破壊対象の大規模データセットであるBreaking Badを紹介する。 私たちのデータセットは、1万のベースモデルからシミュレートされた100万以上の破砕物で構成されています。
    論文  参考訳（メタデータ）   (Thu, 20 Oct 2022 17:57:19 GMT)

Doc2Bot

  • Doc2Bot: Accessing Heterogeneous Documents via Conversational Bots [103.5]
    Doc2Botは、ユーザーが会話を通じて情報を求めるのを助けるマシンを構築するためのデータセットである。 われわれのデータセットには、5つのドメインの中国の文書に基づく10万回以上のターンが含まれている。
    論文  参考訳（メタデータ）   (Thu, 20 Oct 2022 07:33:05 GMT)
    • 会話を通じた情報検索（DGDS: document-grounded dialog system）を支援するためのデータセット。中国語のデータ。
    • リポジトリはDoc2Bot/Doc2Bot (github.com)

LAION-5B

  • LAION-5B: An open large-scale dataset for training next generation image-text models [16.1]
    我々は585億のCLIPフィルタリング画像テキストペアからなるデータセットであるLAION-5Bを紹介し、そのうち2.32Bは英語を含む。 このデータセットを用いて,CLIP,GLIDE,Stable Diffusionといった基礎モデルのレプリケーションと微調整に成功した。 また、近接するいくつかのインデックス、データセット探索のためのWebインターフェースの改善、サブセット生成も提供しています。
    論文  参考訳（メタデータ）   (Sun, 16 Oct 2022 00:08:18 GMT)

Multilingual Grade School Math (MGSM) ベンチマーク

  • Language Models are Multilingual Chain-of-Thought Reasoners [83.4]
    本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。 MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。 言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
    論文  参考訳（メタデータ）   (Thu, 6 Oct 2022 17:03:34 GMT)
    • GSM8Kデータセットから,250の問題を手動で翻訳して Multilingual Grade School Math (MGSM)ベンチマークを作成し多言語における大規模言語モデルの性能評価
    • EN-COT > Native-COTである点は興味深い（そして翻訳を介するのがもっとの性能が高いのも…）
    • リポジトリはgoogle-research/url-nlp (github.com)