コンテンツへスキップ
- Multi-lingual and Multi-cultural Figurative Language Understanding [69.5]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳（メタデータ） (Thu, 25 May 2023 15:30:31 GMT)
- 多言語（多文化）な比喩表現（figurative language）のデータセット。
- 面白いデータではあるが、日本語部分に違和感がある例があるような気もしなくはない…時間があれば修正提案をしてみようかと思う
- GitHub – simran-khanuja/Multilingual-Fig-QA: Creating the multilingual version of Fig-QA
- XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.5]
データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳（メタデータ） (Wed, 24 May 2023 06:09:28 GMT)
- 非常に多言語のNLPベンチマーク。対象タスクもASR、OCR、AutoComplete、Transliteration、Machine Translation、QA、Ritrieval for QA、NER、Semantic Parsingと多様。
- リポジトリはGitHub – google-research/xtreme-up
- DLUE: Benchmarking Document Language Understanding [32.6]
文書理解能力を包括的に評価する方法については、確固たるコンセンサスはない。 本稿では,文書分類,文書構造解析,文書情報抽出,文書書き起こしの4つの代表的能力について要約する。 新しい評価フレームワークでは、新しいタスクスイートである DLUE の Document Language Understanding Evaluation を提案する。
論文 参考訳（メタデータ） (Tue, 16 May 2023 15:16:24 GMT)
- 文書読解タスクのベンチマーク。document classification、document structure analysis、document information extraction、document transcriptionが対象。
- プロジェクトサイトはDLUE – Coming Soon (dluebenchmark.com)
- GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.1]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。 オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。 我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳（メタデータ） (Thu, 11 May 2023 03:21:56 GMT)
- 地理的情報を含めた自然言語処理ベンチマーク、Geo-POI Searching、 GeoSequence Tagging、Geo-Text Classificationがタスク。実用性が高そうなタスクという印象。
- リポジトリは地理语义理解能力评测基准 · 数据集 (modelscope.cn)
- SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes [44.5]
本稿では,emphSportsMOTと呼ばれる多種多様なスポーツシーンにおける大規模多目的追跡データセットを提案する。 240のビデオシーケンス、150Kフレーム以上、およびバスケットボール、バレーボール、サッカーを含む3つのスポーツカテゴリーから収集された1.6M以上のバウンディングボックスで構成されている。 本稿では,emphMixSortと呼ばれる新しい多対象追跡フレームワークを提案する。
論文 参考訳（メタデータ） (Thu, 13 Apr 2023 12:23:36 GMT)
- スポーツを対象としたマルチオブジェクトトラッキングデータセット
- 動きが激しく、見た目での区別がつきそうでつかないという難しそうなデータだという印象
- SportsMOT Dataset – DeeperAction
- GOAL: A Challenging Knowledge-grounded Video Captioning Benchmark for Real-time Soccer Commentary Generation [42.0]
我々は,KGVC(Knowledge-grounded Video Captioning)として,サッカービデオクリップ8.9k,文22k,知識3分の3以上のベンチマークを提示する。 我々は,既存の手法を実験的に適用し,この課題の解決の難しさと可能性を示す。
論文 参考訳（メタデータ） (Sun, 26 Mar 2023 08:43:36 GMT)
- かなり無理やり感のある略称のベンチマークデータセット。規模が大きく面白いものではあるが、略称が（以下略）
- KGVC: knowledgegrounded video captioningタスクとしてかなり難しいデータであるとのこと（そもそもこのタスクは相当困難な気はする）
- Our dataset will be publicly available after reviewらしい