コンテンツへスキップ
- BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.5]
我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 ファインチューニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 18 Jun 2021 16:09:21 GMT)- バイアス項とタスク固有の分類層のみ、BERTの極一部（0.1%以下）を変更対象としてもベンチマークで十分な性能を出すfine tuningが可能という報告。処理の効率化という点でも重要なものだが、この程度の変更で様々なタスクに対応できるのは直感に反しており非常に興味深い。
- GEM: A General Evaluation Benchmark for Multimodal Tasks [25.8]
マルチモーダルタスクの総合評価ベンチマークとしてGEMを提案する。 GEMは、画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vからなる大規模な視覚言語ベンチマークである。 我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。
論文 参考訳（メタデータ） (Fri, 18 Jun 2021 03:14:13 GMT)
- RSG: A Simple but Effective Module for Learning Imbalanced Datasets [99.8]
本稿では,レアクラスのサンプル生成装置(RSG)を提案し,トレーニング中にレアクラスのサンプルを新たに生成する。 RSGは、様々な種類の畳み込みニューラルネットワークに容易に組み込むことができるため、使いやすく、非常に多用途である。 RSGを用いたIm Balanced CIFAR, ImageNet-LT, iNaturalist 2018の競争結果を得た。
論文 参考訳（メタデータ） (Fri, 18 Jun 2021 01:10:27 GMT)- 学習時にレアクラスデータを生成する方針で不均衡データへの対応。predictに影響がないのが利点でかつベンチマークではかなり良い成績。
- How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.1]
ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
論文 参考訳（メタデータ） (Fri, 18 Jun 2021 17:58:20 GMT)- 「We release more than 50’000 ViT models trained under diverse settings on various datasets.」と大規模なViTの検証。augmentationや regularizationの効果はデータセットの大きさによって変わる（状況によっては意味がない）など面白い結果。
- X-FACT: A New Benchmark Dataset for Multilingual Fact Checking [21.3]
本稿では,X-FACTについて紹介する。X-FACTは,自然に存在する実世界のクレームの事実検証のための,多言語データセットとして最大である。 データセットには25の言語で短いステートメントが含まれており、専門家のファクトチェッカーによって正確性を示すラベルが付けられている。
論文 参考訳（メタデータ） (Thu, 17 Jun 2021 05:09:54 GMT)
- Learning to Predict Visual Attributes in the Wild [43.9]
260K以上のオブジェクトインスタンスに対して,927K以上の属性アノテーションからなる大規模なウィジェット内属性予測データセットを導入する。 本稿では,低レベルCNN機能と高レベルCNN機能の両方を利用するベースモデルを含む,これらの課題に体系的に対処する手法を提案する。 これらの技術を用いることで,現状よりも3.7mAP,5.7ポイントのF1点が向上した。
論文 参考訳（メタデータ） (Thu, 17 Jun 2021 17:58:02 GMT)- 大規模な画像系データセット。VAWは現実的な属性予測だけでなく「限られたラベル」「データの不均衡」「アウトオブディストリビューションなテスト」「バイアス関連の問題」などを含むロングテールなマルチラベル予測タスクの汎用テストとしても重要なベンチマークとして機能すると考えている。とのこと。
- http://vawdataset.com/ にデータ等が存在
- Indian Masked Faces in the Wild Dataset [86.8]
本研究では,ポーズ,照明,解像度,被検者の着用するマスクの多様さを特徴とする,IMFWデータセットを新たに提案する。 また,提案したIMFWデータセットにおいて,既存の顔認識モデルの性能をベンチマークした。
論文 参考訳（メタデータ） (Thu, 17 Jun 2021 17:23:54 GMT)
- Poisoning and Backdooring Contrastive Learning [26.1]
CLIPのような対照的な学習方法は、ノイズの多いデータセットと未処理のデータセットでトレーニングする。 この慣行がバックドアや毒殺を重大な脅威にしていることを示す。
論文 参考訳（メタデータ） (Thu, 17 Jun 2021 17:20:45 GMT)- ノイジーなラベル無しデータでのContrastive Learningに対して非常に少数の事例を用いて攻撃が可能との報告。特定の入力に対する誤分類であればデータセットの0.0001%を制御することによって可能とのこと。
- 論文中に記載された通り防御手段も存在するがインターネットからデータを集めてきての学習はリスクがある。
- Eider: Evidence-enhanced Document-level Relation Extraction [56.7]
文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
論文 参考訳（メタデータ） (Wed, 16 Jun 2021 09:43:16 GMT)- joint relation and evidence extraction, evidence-centered relation extraction, fusion of extraction resultsの3ステージ構成のモデルを用いてDocREDで優れたパフォーマンス（BERTbaseではSOTA）を出したとの報告。
- Alternated Training with Synthetic and Authentic Data for Neural Machine Translation [49.4]
ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。 従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。 中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
論文 参考訳（メタデータ） (Wed, 16 Jun 2021 07:13:16 GMT)- Back Translationのような合成データ利用では正しい対訳データとの混ぜ方が課題になっており最悪翻訳モデルの性能を劣化させていた。その対応のためタグを付与するテクニックがあった。この報告では学習時にノイジーな合成データによるずれを補正することで性能を向上させている。