コンテンツへスキップ
- An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [74.0]
カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが新しい情報を学ぶ際に学習した情報を忘れたときに発生する現象である。 本研究では,大言語モデルの知識における忘れ現象を,ドメイン知識,推論,理解という観点から実証的に評価する。
論文 参考訳（メタデータ） (Thu, 17 Aug 2023 02:53:23 GMT)
- 破壊的忘却に関する報告、デコーダonlyなBLOOMZとエンコーダ-デコーダなmT0を比較すると、BLOOMZの方が知識を維持しやすいという結果。「 diverse instruction tuning can help mitigate the CF phenomenon 」を含めとても興味深い。
- リポジトリはhttps://github.com/LuoXiaoHeics/Continual-Tune
- Few-shot Class-incremental Learning: A Survey [16.7]
FSCIL(Few-shot Class-Incremental Learning)は、機械学習においてユニークな課題である。 本稿は、FSCILの総合的かつ体系的なレビューを提供することを目的としている。
論文 参考訳（メタデータ） (Sun, 13 Aug 2023 13:01:21 GMT)
- 学習した知識を忘れずに新たなクラスを扱う（各クラスは限られたデータしかない）手法（FSCIL(Few-shot Class-Incremental Learning)）のサーベイ