タグ: データセット

COVID-19の感情データセット

  • When a crisis strikes: Emotion analysis and detection during COVID-19 [96.0]
    感情をラベル付けした1万ツイートのCovidEmoを紹介します。 事前学習された言語モデルがドメインや危機をまたいでどのように一般化するかを検討する。
    論文  参考訳（メタデータ）   (Fri, 23 Jul 2021 04:07:14 GMT)
    • COVID-19に関連したtweetをラベル付けしたデータセットCovidEmoの紹介と他のデータセットを用いた場合に転移が可能かを検証、有効でないがドメイン適合により改善可能としている。
    • リポジトリはhttps://github.com/AlexanderTekle/COVIDEmotions

Query-based Video Highlights (QVHighlights) データセット

  • QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries [89.2]
    Query-based Video Highlights (QVHighlights) データセットを提示する。 これは1万本以上のYouTubeビデオで構成され、幅広いトピックをカバーしている。 データセット内の各ビデオには、(1)人が書いた自由形式のNLクエリ、(2)クエリに関するビデオw.r.t.の関連モーメント、(3)クエリに関連するすべてのクリップに対する5点満点のsaliencyスコアが注釈付けされている。
    論文  参考訳（メタデータ）   (Tue, 20 Jul 2021 16:42:58 GMT)
    • 自然言語クエリに基づくビデオ検索（シーン検索）のデータセット。1万映像と規模が大きい。ドメインは日常＆旅行のvlogとnews。
    • リポジトリはhttps://github.com/jayleicn/moment_detr

MultiBench: マルチモーダルなベンチマーク

  • MultiBench: Multiscale Benchmarks for Multimodal Representation Learning [87.2]
    MultiBenchは15のデータセット、10のモダリティ、20の予測タスク、6の研究領域にまたがる、体系的で統一されたベンチマークである。 データローディング、実験的なセットアップ、モデル評価を簡素化し、標準化する、エンドツーエンドの自動機械学習パイプラインを提供する。 大規模なマルチモーダルデータセットに対するロバストネスや、現実的な不完全性に対するロバストネスなど、将来の研究に対する影響の高い課題が紹介されている。
    論文  参考訳（メタデータ）   (Thu, 15 Jul 2021 17:54:36 GMT)
  • マルチモーダルなベンチマーク。扱われている領域とデータセットは下記の通り。データの概要はhttps://cmu-multicomp-lab.github.io/multibench/datasets/に詳しい。
    • Affective computing: MUStARD, CMU-MOSI, UR-FUNNY, CMU-MOSEI
    • Healthcare: MIMIC
    • Robotics: MuJoCo Push, Vision & Touch
    • Finance: Stocks-food, Stocks-health, Stocks-tech
    • HCI: ENRICO
    • Multimedia: AV-MNIST, MM-IMDb, Kinetics400-S, Kinetics400-L
  • 評価はPerformance、Complexity、Robustnessで行われるとのこと。Learderboardがどうなるか楽しみ。
  • https://cmu-multicomp-lab.github.io/multibench/ と https://github.com/pliang279/MultiBench が公式サイト＆リポジトリ

コミットメッセージの自動生成

  • On the Evaluation of Commit Message Generation Models: An Experimental Study [33.2]
    コミットメッセージは、コード変更の自然言語記述であり、プログラムの理解とメンテナンスに重要である。 コミットメッセージを自動的に生成するために, 生成手法や検索手法を利用した様々な手法が提案されている。 本稿では,最先端のモデルとデータセットの体系的,詳細な分析を行う。
    論文  参考訳（メタデータ）   (Tue, 13 Jul 2021 02:04:53 GMT)
    • コミットメッセージの自動生成に関する調査。データセット収集も実施、かつ、公開していて今後の研究に有用。話題のcopilotよりもかゆいところに手が届くツールのような気がする。
    • データセット・コード等はhttps://github.com/DeepSoftwareAnalytics/CommitMsgEmpiricalから参照可能。

SynLiDAR: synthetic LiDAR point cloud dataset

  • SynLiDAR: Learning From Synthetic LiDAR Sequential Point Cloud for Semantic Segmentation [37.0]
    SynLiDARは、正確な幾何学的形状と包括的なセマンティッククラスを備えた合成LiDARポイントクラウドデータセットである。 PCT-Netは、現実世界のポイントクラウドデータとのギャップを狭めることを目的としたポイントクラウド翻訳ネットワークである。 複数のデータ拡張および半教師付きセマンティックセグメンテーションタスクに対する実験は、非常に肯定的な結果を示す。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 12 Jul 2021 12:51:08 GMT)
    • LiDAR point cloudの大規模な合成データセット。仮想の都市や町、港から200k scans ( 19 billion points、32 semantic classes)を収集しているとのこと。合成データではあるが、転送学習を通して現実世界でも活用することが可能。この報告でも肯定的な結果とのこと。

XAI-Bench：XAIの評価指標とベンチマークデータ

  • Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.2]
    我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
    論文  参考訳（メタデータ）   (Wed, 23 Jun 2021 17:10:21 GMT)
    • XAIのベンチマークのため指標をまとめ、合成データセットを作成したとの報告。XAIの評価は難しくこのような取り組みは重要。リアルなデータではベンチマーク構築が難しいことから合成データを用いている。LIMEが良い結果になっていてやや意外ではあった。
    • データ、コード等はhttps://github.com/abacusai/xai-benchから確認可能

SODA10M(large-Scale Object Detection benchmark for Autonomous driving): 大規模物体検出ベンチマーク

  • SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving [94.1]
    我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。 多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。 我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
    論文  参考訳（メタデータ）   (Mon, 21 Jun 2021 13:55:57 GMT)
    • 1000万枚の未ラベル画像と6つのカテゴリをラベル付けした20Kの画像からなるデータセット。多くの都市、気象条件、時間帯などが含まれていて自動運転をターゲットにしている。

GEM（General Evaluation benchmark for Multimodal tasks）:マルチモーダルなベンチマーク

  • GEM: A General Evaluation Benchmark for Multimodal Tasks [25.8]
    マルチモーダルタスクの総合評価ベンチマークとしてGEMを提案する。 GEMは、画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vからなる大規模な視覚言語ベンチマークである。 我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。
    論文  参考訳（メタデータ）   (Fri, 18 Jun 2021 03:14:13 GMT)
    • 視覚-言語のベンチマークデータセット、多言語で構成されていることも特徴。少なめだが日本語も入っている。
    • データ等は　https://github.com/microsoft/GEM　から参照可能。

X-FACT: マルチリンガルなファクトチェッキング用データセット

  • X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.3]
    本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。 データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 05:09:54 GMT)
    • ファクトチェッキングのためのデータセット。データ数は31,189とこの手のデータにしては大きい。言語を超えてのファクトチェックは実用上とても重要である。残念ながらデータセットに日本語は含まれていないよう。
    • データやコードはhttps://github.com/utahnlp/x-factで参照可能

VAE(Visual Attributes in the Wild) 大規模アノテーション付き画像データセット

  • Learning to Predict Visual Attributes in the Wild [43.9]
    260K以上のオブジェクトインスタンスに対して,927K以上の属性アノテーションからなる大規模なウィジェット内属性予測データセットを導入する。 本稿では,低レベルCNN機能と高レベルCNN機能の両方を利用するベースモデルを含む,これらの課題に体系的に対処する手法を提案する。 これらの技術を用いることで,現状よりも3.7mAP,5.7ポイントのF1点が向上した。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 17:58:02 GMT)
    • 大規模な画像系データセット。VAWは現実的な属性予測だけでなく「限られたラベル」「データの不均衡」「アウトオブディストリビューションなテスト」「バイアス関連の問題」などを含むロングテールなマルチラベル予測タスクの汎用テストとしても重要なベンチマークとして機能すると考えている。とのこと。
    • http://vawdataset.com/　にデータ等が存在