- Knowledge Unlearning for Mitigating Privacy Risks in Language Models [31.3]
言語モデルのプライバシーリスクを低減する代替手法として知識アンラーニングを提案する。 トークンシーケンスのターゲットに異種トレーニングの目的を単純に適用することは、それを忘れるのに効果的であることを示す。 抽出攻撃に脆弱なデータが先入観として知られているシナリオでは、アンラーニングがより強力な経験的プライバシ保証を与える可能性があることを示す。
論文 参考訳（メタデータ） (Tue, 4 Oct 2022 10:18:11 GMT)- 効率的なunlearning手法の提案、忘れるための損失関数を最適化するだけという驚きの方法
- なぜこれでうまくいくのだろう・・・
- リポジトリはjoeljang/knowledge-unlearning: Knowledge Unlearning for Mitigating Privacy Risks in Language Models (github.com)
- 効率的なunlearning手法の提案、忘れるための損失関数を最適化するだけという驚きの方法