コンテンツへスキップ
- VOLO: Vision Outlooker for Visual Recognition [148.1]
視覚変換器 (ViTs) は ImageNet 分類法において自己注意型モデルの優れたポテンタイアを示す。 本研究では,パフォーマンスギャップを解消し,注意に基づくモデルがCNNよりも優れていることを示す。
論文 参考訳（メタデータ） (Thu, 24 Jun 2021 15:46:54 GMT) - outlook attentionという構造を取り入れたVOLOという構造を提案、Extra Training Data無しの条件下でImageNet画像分類のSOTAとのこと。
- コードなどはhttps://github.com/sail-sg/voloから確認可能
- Towards Reducing Labeling Cost in Deep Object Detection [61.0]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 22 Jun 2021 16:53:09 GMT)- アクティブラーニングにおいてentropyのような尺度を用いるとレアなクラス（分類性能が低くなっているクラス）に対して適切なラベリングすべきサンプルを選ぶことができない。一貫性に基づくスコアを用いることによってこの問題に対処したとのこと。ラベル付けコストを最大82%削減するという結果は興味深い。
- Synthetic Benchmarks for Scientific Research in Explainable Machine Learning [14.2]
我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
論文 参考訳（メタデータ） (Wed, 23 Jun 2021 17:10:21 GMT)
- BARTScore: Evaluating Generated Text as Text Generation [89.5]
我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。 我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。 本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
論文 参考訳（メタデータ） (Tue, 22 Jun 2021 03:20:53 GMT)- seq2seqなBARTを用いた評価指標。BERT Scoreなど（名前も）似た指標に比べても優位性があるとのこと。機械翻訳、機械要約ともに評価は悩ましい問題でありこのような手法は重要。
- Zero-Shot Chinese Character Recognition with Stroke-Level Decomposition [37.8]
本稿では,各文字をストローク列に分解することで,ストロークに基づく手法を提案する。 我々は、予測されたストロークシーケンスを特定の文字に変換するためにマッチングベースの戦略を用いる。 提案手法は、文字をストロークに分解できる他の言語に容易に一般化できる。
論文 参考訳（メタデータ） (Tue, 22 Jun 2021 08:49:03 GMT)- 漢字をストロークに分解したうえで文字認識をする方法。zero shotでは既存手法より優れており、そうでない設定でも競争的な性能。
- 論文中にもある通り日本語、韓国語などストロークに分解できる文字に対しては有効そう。
- Regularization is all you Need: Simple Neural Nets can Excel on Tabular Data [36.1]
タブラルデータセットは、ディープラーニングのための最後の”未完成の城”である。 Gradient Boosted Decision Treesのような従来のMLメソッドは、最近の特殊なニューラルネットワークに対してさえ、強く機能している。 13の正則化手法の最適組み合わせ/カクテルを探索し,平面多層パーセプトロン(MLP)ネットワークの正則化を提案する。
論文 参考訳（メタデータ） (Mon, 21 Jun 2021 15:27:43 GMT)- (i)高度に正則化されたプレーンなMLPが最近の最先端の専門的ニューラルネットワークアーキテクチャを著しく上回り,(ii)XGBoostのような強力なML手法よりも優れているとの報告。
- （balanced accuracyだからか？）表の中に出てくるスコアに低すぎるっぽいものもあり要精査な印象。
- SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving [94.1]
我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。 多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。 我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
論文 参考訳（メタデータ） (Mon, 21 Jun 2021 13:55:57 GMT)- 1000万枚の未ラベル画像と6つのカテゴリをラベル付けした20Kの画像からなるデータセット。多くの都市、気象条件、時間帯などが含まれていて自動運転をターゲットにしている。
- BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.5]
我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 ファインチューニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 18 Jun 2021 16:09:21 GMT)- バイアス項とタスク固有の分類層のみ、BERTの極一部（0.1%以下）を変更対象としてもベンチマークで十分な性能を出すfine tuningが可能という報告。処理の効率化という点でも重要なものだが、この程度の変更で様々なタスクに対応できるのは直感に反しており非常に興味深い。
- GEM: A General Evaluation Benchmark for Multimodal Tasks [25.8]
マルチモーダルタスクの総合評価ベンチマークとしてGEMを提案する。 GEMは、画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vからなる大規模な視覚言語ベンチマークである。 我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。
論文 参考訳（メタデータ） (Fri, 18 Jun 2021 03:14:13 GMT)
- RSG: A Simple but Effective Module for Learning Imbalanced Datasets [99.8]
本稿では,レアクラスのサンプル生成装置(RSG)を提案し,トレーニング中にレアクラスのサンプルを新たに生成する。 RSGは、様々な種類の畳み込みニューラルネットワークに容易に組み込むことができるため、使いやすく、非常に多用途である。 RSGを用いたIm Balanced CIFAR, ImageNet-LT, iNaturalist 2018の競争結果を得た。
論文 参考訳（メタデータ） (Fri, 18 Jun 2021 01:10:27 GMT)- 学習時にレアクラスデータを生成する方針で不均衡データへの対応。predictに影響がないのが利点でかつベンチマークではかなり良い成績。