タグ: データセット

GEM（General Evaluation benchmark for Multimodal tasks）:マルチモーダルなベンチマーク

  • GEM: A General Evaluation Benchmark for Multimodal Tasks [25.8]
    マルチモーダルタスクの総合評価ベンチマークとしてGEMを提案する。 GEMは、画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vからなる大規模な視覚言語ベンチマークである。 我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。
    論文  参考訳（メタデータ）   (Fri, 18 Jun 2021 03:14:13 GMT)
    • 視覚-言語のベンチマークデータセット、多言語で構成されていることも特徴。少なめだが日本語も入っている。
    • データ等は　https://github.com/microsoft/GEM　から参照可能。

X-FACT: マルチリンガルなファクトチェッキング用データセット

  • X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.3]
    本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。 データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 05:09:54 GMT)
    • ファクトチェッキングのためのデータセット。データ数は31,189とこの手のデータにしては大きい。言語を超えてのファクトチェックは実用上とても重要である。残念ながらデータセットに日本語は含まれていないよう。
    • データやコードはhttps://github.com/utahnlp/x-factで参照可能

VAE(Visual Attributes in the Wild) 大規模アノテーション付き画像データセット

  • Learning to Predict Visual Attributes in the Wild [43.9]
    260K以上のオブジェクトインスタンスに対して,927K以上の属性アノテーションからなる大規模なウィジェット内属性予測データセットを導入する。 本稿では,低レベルCNN機能と高レベルCNN機能の両方を利用するベースモデルを含む,これらの課題に体系的に対処する手法を提案する。 これらの技術を用いることで,現状よりも3.7mAP,5.7ポイントのF1点が向上した。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 17:58:02 GMT)
    • 大規模な画像系データセット。VAWは現実的な属性予測だけでなく「限られたラベル」「データの不均衡」「アウトオブディストリビューションなテスト」「バイアス関連の問題」などを含むロングテールなマルチラベル予測タスクの汎用テストとしても重要なベンチマークとして機能すると考えている。とのこと。
    • http://vawdataset.com/　にデータ等が存在

IMFW(Indian Masked Faces in the Wild): マスクをした人の顔認識

  • Indian Masked Faces in the Wild Dataset [86.8]
    本研究では,ポーズ,照明,解像度,被検者の着用するマスクの多様さを特徴とする,IMFWデータセットを新たに提案する。 また,提案したIMFWデータセットにおいて,既存の顔認識モデルの性能をベンチマークした。
    論文  参考訳（メタデータ）   (Thu, 17 Jun 2021 17:23:54 GMT)
    • COVID-19で重要になったマスクをした状況での顔認識。既存の顔認識モデルだといろいろな限界があるとのこと。
    • データなどはhttp://www.iab-rubric.org/resources/imfw.htmlから参照可能。

DUO（Detecting Underwater Objects）のデータセット・ベンチマーク

  • A Dataset And Benchmark Of Underwater Object Detection For Robot Picking [29.0]
    我々は,すべての関連するデータセットの収集と再アノテーションに基づいて,データセット,水中オブジェクトの検出(DUO)およびそれに対応するベンチマークを紹介する。 DUOはより合理的な注釈を持つ多様な水中画像のコレクションを含んでいる。 対応するベンチマークは、学術研究および産業応用のためのSOTAの効率と精度の指標を提供する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Jun 2021 11:56:19 GMT)
    • 水中での物体検出タスクのデータセット。代表的な手法のベンチマークも記載されている。水中での物体認識においては、深いネットワーク構造が役に立たないように見えるという指摘が興味深い。
    • データセットはhttps://github.com/chongweiliuで公開予定とのこと。

cLang-8: 文法誤り訂正タスクSOTA&データセット

  • A Simple Recipe for Multilingual Grammatical Error Correction [6.3]
    本稿では,最新の多言語文法的誤り訂正(GEC)モデルを学習するためのレシピを提案する。 まず,多数の合成例を生成するための言語に依存しない手法を提案する。 第2の要素は、大規模多言語言語モデルを使用することである。 
    論文  参考訳（メタデータ）   (Mon, 7 Jun 2021 17:47:04 GMT)
    • 大規模事前学習モデルmT5＋データクリーニングによってGECでSOTA。データ数が一定以上であればクリーニングは効果的、モデル規模の増加は性能向上に効果的であったと意外性はないが重要な結果。
    • データセット等はhttps://github.com/google-research-datasets/clang8からアクセス可能とのこと。

LUSS　教師無し学習前提のセマンティックセグメンテーションのデータセット

  • Large-scale Unsupervised Semantic Segmentation [163.4]
    本稿では, 大規模教師無しセマンティックセマンティックセグメンテーション (LUSS) の新たな課題を提案する。 ImageNetデータセットに基づいて、120万のトレーニング画像と40万の高品質なセマンティックセグメンテーションアノテーションを用いた画像Net-Sデータセットを提案する。 
    論文  参考訳（メタデータ）   (Sun, 6 Jun 2021 15:02:11 GMT)
    • 教師無し前提のセマンティックセグメンテーションタスク。規模が大きく様々な場所で用いられそう。

レイアウト構造を利用した自然言語処理

  • Incorporating Visual Layout Structures for Scientific Text Classification [31.2]
    本研究では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストをテキスト行やテキストブロックにグループ化する手法を言語モデルに導入する。 モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+14.5 F1のスコア改善をもたらす可能性があることを示す。
    論文  参考訳（メタデータ）  参考訳（全文）  (Tue, 1 Jun 2021 17:59:00 GMT)
    • レイアウト情報は重要な情報源であり、うまく活用できた時の効果は大きいと思う。
    • データセットとコードはhttps://github.com/allenai/VILAで公開予定とのこと。

GLUEの韓国語版

  • KLUE: Korean Language Understanding Evaluation [43.9]
    韓国語理解評価(KLUE)ベンチマークを紹介する。 KLUEは、韓国の8つの自然言語理解(NLU)タスクのコレクションである。 著作権を尊重しながら、さまざまなソースコーパスから、すべてのタスクをゼロから構築します。
    論文  参考訳（メタデータ）   (Fri, 21 May 2021 05:54:22 GMT)
    • GLUEの韓国語版。XTREMEとか多言語ベンチマークで代替できる可能性はあるとはいえ、英語以外の各国語版ベンチマークの重要性は変わっていないと思う。
    • 日本語版も欲しい（作れという話もあるが）

GPTによるコードの生成

  • Measuring Coding Challenge Competence With APPS [54.2]
    コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 20 May 2021 17:58:42 GMT)
    • プログラミングの自動化（コード自動生成）を目指した論文、ベンチマークデータセット
    • GPT-NEOは一定数の問題を解いたようで今後の発展が期待される。