タグ: データセット

XAI-Bench：XAIの評価指標とベンチマークデータ

  • Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.2]
    我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
    論文  参考訳（メタデータ）   (Wed, 23 Jun 2021 17:10:21 GMT)
    • XAIのベンチマークのため指標をまとめ、合成データセットを作成したとの報告。XAIの評価は難しくこのような取り組みは重要。リアルなデータではベンチマーク構築が難しいことから合成データを用いている。LIMEが良い結果になっていてやや意外ではあった。
    • データ、コード等はhttps://github.com/abacusai/xai-benchから確認可能

SODA10M(large-Scale Object Detection benchmark for Autonomous driving): 大規模物体検出ベンチマーク

  • SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving [94.1]
    我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。 多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。 我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
    論文  参考訳（メタデータ）   (Mon, 21 Jun 2021 13:55:57 GMT)
    • 1000万枚の未ラベル画像と6つのカテゴリをラベル付けした20Kの画像からなるデータセット。多くの都市、気象条件、時間帯などが含まれていて自動運転をターゲットにしている。

GEM（General Evaluation benchmark for Multimodal tasks）:マルチモーダルなベンチマーク

  • GEM: A General Evaluation Benchmark for Multimodal Tasks [25.8]
    マルチモーダルタスクの総合評価ベンチマークとしてGEMを提案する。 GEMは、画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vからなる大規模な視覚言語ベンチマークである。 我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。
    論文  参考訳（メタデータ）   (Fri, 18 Jun 2021 03:14:13 GMT)
    • 視覚-言語のベンチマークデータセット、多言語で構成されていることも特徴。少なめだが日本語も入っている。
    • データ等は　https://github.com/microsoft/GEM　から参照可能。

X-FACT: マルチリンガルなファクトチェッキング用データセット

  • X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.3]
    本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。 データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 05:09:54 GMT)
    • ファクトチェッキングのためのデータセット。データ数は31,189とこの手のデータにしては大きい。言語を超えてのファクトチェックは実用上とても重要である。残念ながらデータセットに日本語は含まれていないよう。
    • データやコードはhttps://github.com/utahnlp/x-factで参照可能

VAE(Visual Attributes in the Wild) 大規模アノテーション付き画像データセット

  • Learning to Predict Visual Attributes in the Wild [43.9]
    260K以上のオブジェクトインスタンスに対して,927K以上の属性アノテーションからなる大規模なウィジェット内属性予測データセットを導入する。 本稿では,低レベルCNN機能と高レベルCNN機能の両方を利用するベースモデルを含む,これらの課題に体系的に対処する手法を提案する。 これらの技術を用いることで,現状よりも3.7mAP,5.7ポイントのF1点が向上した。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 17:58:02 GMT)
    • 大規模な画像系データセット。VAWは現実的な属性予測だけでなく「限られたラベル」「データの不均衡」「アウトオブディストリビューションなテスト」「バイアス関連の問題」などを含むロングテールなマルチラベル予測タスクの汎用テストとしても重要なベンチマークとして機能すると考えている。とのこと。
    • http://vawdataset.com/　にデータ等が存在

IMFW(Indian Masked Faces in the Wild): マスクをした人の顔認識

  • Indian Masked Faces in the Wild Dataset [86.8]
    本研究では,ポーズ,照明,解像度,被検者の着用するマスクの多様さを特徴とする,IMFWデータセットを新たに提案する。 また,提案したIMFWデータセットにおいて,既存の顔認識モデルの性能をベンチマークした。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 17:23:54 GMT)
    • COVID-19で重要になったマスクをした状況での顔認識。既存の顔認識モデルだといろいろな限界があるとのこと。
    • データなどはhttp://www.iab-rubric.org/resources/imfw.htmlから参照可能。

DUO（Detecting Underwater Objects）のデータセット・ベンチマーク

  • A Dataset And Benchmark Of Underwater Object Detection For Robot Picking [29.0]
    我々は,すべての関連するデータセットの収集と再アノテーションに基づいて,データセット,水中オブジェクトの検出(DUO)およびそれに対応するベンチマークを紹介する。 DUOはより合理的な注釈を持つ多様な水中画像のコレクションを含んでいる。 対応するベンチマークは、学術研究および産業応用のためのSOTAの効率と精度の指標を提供する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Jun 2021 11:56:19 GMT)
    • 水中での物体検出タスクのデータセット。代表的な手法のベンチマークも記載されている。水中での物体認識においては、深いネットワーク構造が役に立たないように見えるという指摘が興味深い。
    • データセットはhttps://github.com/chongweiliuで公開予定とのこと。

cLang-8: 文法誤り訂正タスクSOTA&データセット

  • A Simple Recipe for Multilingual Grammatical Error Correction [6.3]
    本稿では,最新の多言語文法的誤り訂正(GEC)モデルを学習するためのレシピを提案する。 まず,多数の合成例を生成するための言語に依存しない手法を提案する。 第2の要素は、大規模多言語言語モデルを使用することである。 
    論文  参考訳（メタデータ）   (Mon, 7 Jun 2021 17:47:04 GMT)
    • 大規模事前学習モデルmT5＋データクリーニングによってGECでSOTA。データ数が一定以上であればクリーニングは効果的、モデル規模の増加は性能向上に効果的であったと意外性はないが重要な結果。
    • データセット等はhttps://github.com/google-research-datasets/clang8からアクセス可能とのこと。

LUSS　教師無し学習前提のセマンティックセグメンテーションのデータセット

  • Large-scale Unsupervised Semantic Segmentation [163.4]
    本稿では, 大規模教師無しセマンティックセマンティックセグメンテーション (LUSS) の新たな課題を提案する。 ImageNetデータセットに基づいて、120万のトレーニング画像と40万の高品質なセマンティックセグメンテーションアノテーションを用いた画像Net-Sデータセットを提案する。 
    論文  参考訳（メタデータ）   (Sun, 6 Jun 2021 15:02:11 GMT)
    • 教師無し前提のセマンティックセグメンテーションタスク。規模が大きく様々な場所で用いられそう。

レイアウト構造を利用した自然言語処理

  • Incorporating Visual Layout Structures for Scientific Text Classification [31.2]
    本研究では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストをテキスト行やテキストブロックにグループ化する手法を言語モデルに導入する。 モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+14.5 F1のスコア改善をもたらす可能性があることを示す。
    論文  参考訳（メタデータ）  参考訳（全文）  (Tue, 1 Jun 2021 17:59:00 GMT)
    • レイアウト情報は重要な情報源であり、うまく活用できた時の効果は大きいと思う。
    • データセットとコードはhttps://github.com/allenai/VILAで公開予定とのこと。