タグ: データセット

Execution-based Evaluation for Data Science Code Generation Models

  • Execution-based Evaluation for Data Science Code Generation Models [98.0]
    データサイエンスコード生成タスクの実行評価のための評価データセットであるExeDSを紹介する。 ExeDSにはJupyter Notebooksの534の問題が含まれており、それぞれがコードコンテキスト、タスク記述、参照プログラム、望ましい実行出力で構成されている。 表面形状評価スコアを高い精度で達成した5つの最先端コード生成モデルの実行性能を評価する。
    論文  参考訳（メタデータ）   (Thu, 17 Nov 2022 07:04:11 GMT)
  • データサイエンスの問題を解くためのコード生成ベンチマークの提案。より実用的なタスク（＆評価）で面白い。
  • 生成されたコードの近さとアウトプットの近さには距離があるのは直感通りとして、Codeexがコード的には遠いがアウトプットではまずまずの結果を出している点が興味深い。意味まで理解しているっぽい動き。
  • https://github.com/Jun-jie-Huang/ExeDSがリポジトリとのことだが、現時点では404

DiaASQ

  • DiaASQ: A Benchmark of Conversational Aspect-based Sentiment Quadruple Analysis [84.8]
    そこで本稿では,対話におけるターゲット・アスペクト・オピニオン・センタティメントの感情四重項を検出するために,対話的側面に基づく感情四重項分析,すなわちDiaASQを導入する。 大規模で高品質な中国語データセットを手動で構築し、手動翻訳による英語版データセットも取得する。 エンドツーエンドの四重項予測を効果的に実行し、より優れた発話四重項抽出のために、リッチな対話特化特徴表現と談話特徴表現を組み込むことに成功している。
    論文  参考訳（メタデータ）   (Thu, 10 Nov 2022 17:18:20 GMT)
  • 対話の「target-aspect-opinion-sentiment」を判別するためのデータセット。規模は1000対話、7452発話。中国語のデータで構築されたうえで、手動で英語に翻訳されたデータが存在するとのことで様々な問題設定で使用できそう。
  • プロジェクトサイトはhttps://github.com/unikcc/DiaASQとのことだが、現時点では404

AnimeRun

  • AnimeRun: 2D Animation Visual Correspondence from Open Source 3D Movies [98.7]
    既存の2次元漫画のデータセットは、単純なフレーム構成と単調な動きに悩まされている。 我々は,オープンソースの3D映画を2Dスタイルのフルシーンに変換することによって,新しい2Dアニメーション視覚対応データセットAnimeRunを提案する。 分析の結果,提案したデータセットは画像合成において実際のアニメに似るだけでなく,既存のデータセットと比較してよりリッチで複雑な動きパターンを持つことがわかった。
    論文  参考訳（メタデータ）   (Thu, 10 Nov 2022 17:26:21 GMT)
    • オープンソースの３D映画から生成されたアニメ映像のデータセット
    • データセットはCC-BY-NC 4.0 License、コードは MIT Licenseとオープンソース
    • プロジェクトサイトはAnimeRun Project Page (lisiyao21.github.io)

FormLM

  • FormLM: Recommending Creation Ideas for Online Forms by Modelling Semantic and Structural Information [33.7]
    オンラインフォームをモデル化し、フォーム作成のアイデアを推奨するためにFormLMを提示します。 モデルトレーニングと評価のために、62Kのオンラインフォームを持つ最初の公開オンラインフォームデータセットを収集する。 実験の結果,FormLMはすべてのタスクにおいて汎用言語モデルよりも優れていた。
    論文  参考訳（メタデータ）   (Thu, 10 Nov 2022 01:32:55 GMT)
  • オンラインアンケートなどのフォーム生成を支援するためのモデルの提案、データセットから構築している。「Form Creation Ideasは過去には体系的に研究されていない」というのはその通りだと思う…実用的なタスクとPLMを用いた問題解決の方針が参考になる。
  • プロジェクトサイトはhttps://github.com/microsoft/FormLMとのことだが、現時点では404。

MACSum: Controllable Summarization with Mixed Attributes

  • MACSum: Controllable Summarization with Mixed Attributes [56.7]
    MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
    論文  参考訳（メタデータ）   (Wed, 9 Nov 2022 17:17:37 GMT)
  • 複数の属性で制御可能な要約モデル（とデータセット）の提案。制御可能な点は「Topic, Speaker, Length, Extractiveness, Specificity」、よく動けば非常に理想形に近いように思う。残念ながら「We explore the hard prompt and soft prefix models to show this is a challenging task as a large gap between machine learning models and human still exists.」とのことだが、研究の進展を期待。
  • リポジトリはpsunlpgroup/MACSum: This repository maintains dataset, metrics, and models for paper MACSUM: Controllable Summarization with Mixed Attributes. (github.com)

Causal Bench

  • CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data [61.1]
    CausalBenchは、大規模摂動単細胞遺伝子発現データに基づくネットワーク推定手法を評価するための総合ベンチマークスイートである。 CaulBenchは、摂動下で生成された単一セルデータから遺伝子制御ネットワークの推論方法を評価するために、2つの大きく、キュレートされ、公開されているベンチマークデータセットを運用している。
    論文  参考訳（メタデータ）   (Mon, 31 Oct 2022 13:04:07 GMT)
  • 大規模な（摂動下の）遺伝子発現のベンチマーク

LILA(Lilavatiより？)

  • Lila: A Unified Benchmark for Mathematical Reasoning [60.0]
    LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
    論文  参考訳（メタデータ）   (Mon, 31 Oct 2022 17:41:26 GMT)
    • 数学的な推論のためのデータセット。23タスク44データセットと大規模。GPT-Neo-2.7Bをfinetuneしたモデル、GPT-3/Codexのfew shotで検証されておりCodexが比較的高性能。ただ、スコアは高くない。

ECTSum

  • ECTSum: A New Benchmark Dataset For Bullet Point Summarization of Long Earnings Call Transcripts [20.0]
    我々は、公開企業によって運営されている決算書(ECT)を文書として、新たなデータセットを提示する。 重要な事実を正確に捉えるために、単純なyet- Effective(ECT-BPS)アプローチも提案する。
    論文  参考訳（メタデータ）   (Wed, 26 Oct 2022 16:21:37 GMT)
    • Earnings Call（業績報告）のTranscriptと対応するロイターの記事を用いた要約データセットの提案。圧縮率が103.67と極めて高い。これらデータをうまく要約可能なECT-BPSというモデルも提案されている
      • FinBERTを用いたExtractiveモジュールとT5ベースのParaphasingモジュールの組み合わせ
    • リポジトリはrajdeep345/ECTSum: ECTSum Dataset and Codes (github.com)

DiffusionDB

  • DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models [14.3]
    DiffusionDBは、最初の大規模なテキストと画像のプロンプトデータセットである。 データセット内のプロンプトを分析し、これらのプロンプトの重要な特性について議論する。 この人間の活動するデータセットの、前例のないスケールと多様性は、エキサイティングな研究機会を提供する。
    論文  参考訳（メタデータ）   (Wed, 26 Oct 2022 17:54:20 GMT)
    • 200万件のプロンプト・画像のペア。Stable Diffusion discord serverから取得されたとのこと。ライセンスはCC-0。
      • 画像生成のプロンプトは（生成モデルが用いたデータに共通部分が多いこともあって）使いまわせる要素がある。傾向分析には有用そう。

Breaking Bad: A Dataset for Geometric Fracture and Reassembly

  • Breaking Bad: A Dataset for Geometric Fracture and Reassembly [47.2]
    本稿では,破壊対象の大規模データセットであるBreaking Badを紹介する。 私たちのデータセットは、1万のベースモデルからシミュレートされた100万以上の破砕物で構成されています。
    論文  参考訳（メタデータ）   (Thu, 20 Oct 2022 17:57:19 GMT)