コンテンツへスキップ
- Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.0]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 4 Nov 2021 12:59:55 GMT)- 敵対的攻撃環境下で動作させることを目的としたベンチマーク、データセットの提案。「攻撃アルゴリズムの多くが無効または曖昧な例を生成する → 慎重なフィルタリング処理を実施」「言語モデルとトレーニングメソッドはAdvGLUEではパフォーマンスが悪く、スコアは大きく劣化」という攻撃する側、される側ともに課題がありそうなのが興味深い。
- プロジェクトサイトはhttps://adversarialglue.github.io/
- CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.6]
我々は,NLUモデルのFewショット学習能力を評価するためのベンチマークであるCLUESを紹介する。 近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
論文 参考訳（メタデータ） (Thu, 4 Nov 2021 00:43:15 GMT)
- OpenPrompt: An Open-source Framework for Prompt-learning [59.2]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳（メタデータ） (Wed, 3 Nov 2021 03:31:14 GMT)
- Can I use this publicly available dataset to build commercial AI software? Most likely not [8.9]
商用AIソフトウェアを構築するために、与えられた公開データセットを使用する場合、ライセンスコンプライアンス違反の可能性を評価するための新しいアプローチを提案する。 その結果,これらの6つの研究データセットのうち5つは,ライセンス違反のリスクがあることが判明した。
論文 参考訳（メタデータ） (Wed, 3 Nov 2021 17:44:06 GMT)- CIFAR-10、ImageNet、Cityscapes、MS COCO、FFHQ、VGGFace2の商用利用が可能か調べたもの。5つはリスクがあり、（守るべき規定はあるが）利用可能そうなのはCC BYなMS COCOのみとのこと。
- 商用利用に限らずライセンス確認は必須だが、特に研究用のデータセットはその辺りが不明瞭なものも多い。Creative Commonsのような明確な規定のデータが増えてほしい。
- The Klarna Product Page Dataset: A RealisticBenchmark for Web Representation Learning [60.5]
本稿では,DOM木要素表現学習の未探索問題に対処する。 一般的なグラフベースのニューラルネットワークモデルを適用して、WebサイトDOMツリーに要素を埋め込むようにします。 ウェブページの大規模かつ現実的なデータセットを提示する。
論文 参考訳（メタデータ） (Wed, 3 Nov 2021 12:13:52 GMT)
- Modeling Techniques for Machine Learning Fairness: A Survey [17.9]
近年,機械学習モデルのバイアスを軽減するため,様々な手法が開発されている。 本稿では,プロセス内バイアス軽減技術の現状を概観する。
論文 参考訳（メタデータ） (Thu, 4 Nov 2021 17:17:26 GMT)- 公平性の実現、バイアスの除去・軽減技術に関するサーベイ。
- 決定的な方法はない分野でもあり、整理軸も概観も非常に参考になる。
- Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.8]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文 参考訳（メタデータ） (Mon, 1 Nov 2021 20:08:05 GMT)- 事前学習モデルを用いたNLPのサーベイ、本文30ページ。「事前学習＋Fine-tuning」「Prompt-based learning 」「テキスト生成への帰着」の3つのパラダイムで整理している。加えてPLMによるデータ生成も扱われており非常に勉強になる。
- Relational Self-Attention: What’s Missing in Attention for Video Understanding [52.4]
リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (Tue, 2 Nov 2021 15:36:11 GMT)- コンテンツ間の関連を予測するRelational kernelとコンテンツ間の関連のパターンを提供するRelational contextを組み込んだ構造を用いてビデオ理解タスクでSoTAを主張。
- Mastering Atari Games with Limited Data [73.6]
我々は,MuZero上に構築したモデルベースビジュアルRLアルゴリズムのサンプルを提案し,これをEfficientZeroと呼ぶ。 提案手法は,Atari 100kベンチマークで平均190.4%の人的パフォーマンスを達成し,実戦経験は2時間に過ぎなかった。 アルゴリズムがそのような小さなデータでアタリゲーム上で超人的パフォーマンスを達成するのは、これが初めてである。
論文 参考訳（メタデータ） (Sat, 30 Oct 2021 09:13:39 GMT) - DQNが2億フレームで到達する性能を、その500分の1のフレーム数で達成できる強化学習のアルゴリズム。
- リポジトリはhttps://github.com/YeWR/EfficientZero/
- Human Attention in Fine-grained Classification [38.7]
我々は,人間の注意が分類などの意思決定プロセスに有用な情報を含んでいることを検証した。まずデータセットCUBに対して人間の視線データを収集し,CUB-GHA(Gaze-based Human Attention)を構築する。次に人間の視線を分類モデルに統合するために、GAT(Gaze Augmentation Training)とKFN(Knowledge Fusion Network)を提案する。
論文 参考訳（メタデータ） (Tue, 2 Nov 2021 14:41:11 GMT)