コンテンツへスキップ
- AutoMTL: A Programming Framework for Automated Multi-Task Learning [23.4]
マルチタスク学習(MTL)は、一連のタスクを共同で学習する。 MTLの普及を妨げている大きな障壁は、コンパクトなマルチタスクモデルを開発するための体系的なサポートの欠如である。 MTLモデル開発を自動化する最初のプログラミングフレームワークであるAutoMTLを開発した。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 25 Oct 2021 16:13:39 GMT)
- Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.6]
ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が浮上している。1) モデルはクリーンなデータよりもバックドアドデータを学習する。 2) バックドアタスクは特定のクラス(バックドアターゲットクラス)に結び付けられる。 これら2つの弱点に基づきアンチバックドア学習(ABL)を提案する。ABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 25 Oct 2021 03:41:22 GMT)- バックドア攻撃の特徴を使った防御法を提案。最先端のバックドア攻撃10件に対して効果的に防御できることを示し、品質が不明瞭なデータを使った学習時に安全性を確保できるとのこと。
- 攻撃と防御のいたちごっこになる感はあるが、このような研究は重要。
- リポジトリはhttps://github.com/bboylyg/ABL
- Multilingual Unsupervised Neural Machine Translation with Denoising Adapters [77.8]
単言語データのみを持つ言語を翻訳・翻訳する多言語無教師機械翻訳の問題点を考察する。 この問題に対して、モノリンガルデータを活用するための標準的な手順は、計算コストが高くチューニングが難しいバックトランスレーションである。 本稿では,事前学習したmBART-50上に,デノナイジング対象のアダプタ層であるデノナイジングアダプタを使用することを提案する。
論文 参考訳（メタデータ） (Wed, 20 Oct 2021 10:18:29 GMT)- mBART-50にアダプタ層を付け加えることによって破壊的な忘却を防止しながら性能の高い機械翻訳モデルを構築可能という報告。教師無し＆単言語データを主たる対象にしている。新しい言語でmBARTを拡張できるとか非常に興味深い結果。