- Antidistillation Sampling [98.9]
拡張推論トレースを生成するモデルは、モデル蒸留を容易にするリッチトークンシーケンスを不注意に生成する。 この脆弱性を認識したモデル所有者は、モデル性能を損なうことなく蒸留の有効性を制限するサンプリング戦略を求めることができる。 抗蒸留サンプリング毒は痕跡を推し進め、モデルの実用性を保ちながら蒸留の効力を著しく低下させた。
論文 参考訳（メタデータ） (Thu, 17 Apr 2025 17:54:14 GMT) - タイトルの通り蒸留を困難にするサンプリング戦略の提案
- プロジェクトサイトはAntidistillation Sampling