- Locating and Editing Factual Knowledge in GPT [32.3]
我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。 大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合（抽象的な事実を知る、具体的な言葉を言う）と一致している。 この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
論文 参考訳（メタデータ） (Thu, 10 Feb 2022 18:59:54 GMT)- GPT系モデルのうち「何かを知っている」部分と「何かを言う」部分を識別し、かつ、前者を編集する方法を提案。Fugu-MT 論文翻訳(概要): Fast Model Editing at Scale (fugumt.com)よりも優れているとのこと。XAIの文脈でも実用的な編集の文脈でも興味深い結果。
- プロジェクトサイトはRome (baulab.info)