タグ: Editing Factual Knowledge

Knowledge Editing on Black-box Large Language Models

  • Knowledge Editing on Black-box Large Language Models [37.0]
    本稿では,現在手法におけるデータ編集とスタイルオーバー編集のプライバシー漏洩に対処する新しいポスト編集フレームワークを提案する。 2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
    論文  参考訳（メタデータ）   (Tue, 13 Feb 2024 17:59:34 GMT)
  • ブラックボックスモデルに対するKnowledge Editing。後処理を工夫するタイプであるが、パイプライン構成は色々な研究から良いものを取り入れまくっている印象で面白い。
  • リポジトリはsongxiaoshuai/postEdit: Official implementation of “Knowledge Editing on Black-box Large Language Models”. (github.com)

DeepEdit: Depth-first Search based Progressive Decoding for Knowledge Editing

  • DeepEdit: Knowledge Editing as Decoding with Constraints [129.8]
    我々は,制約付き復号化として,大規模言語モデル(LLM)の知識編集の新しい視点を開発する。 DeepEditは、知識編集を改善するニューラルシンボリックな方法であり、推論の一貫性、質問への関連性、更新された知識の認識を改善する。
    論文  参考訳（メタデータ）   (Fri, 19 Jan 2024 03:48:27 GMT)
  • デコード時に対応するタイプのKnowledge editing、出力を直接コントロールできるためプロンプトによる対応よりも強制力が強い。そしてブラックボックスモデルに対しても適用可能とのこと。リアルタイム性には課題を抱えそうだが、面白い方法だと思う。
  • リポジトリはwangywUST/DeepEdit: Repository for our paper “DeepEdit: Knowledge Editing as Decoding with Constraints”. https://arxiv.org/abs/2401.10471 (github.com)

Model Editing Can Hurt General Abilities of Large Language Models

  • Model Editing Can Hurt General Abilities of Large Language Models [128.3]
    大規模言語モデル(LLM)は、パラメータに格納された知識にアクセスするための新しいパラダイムを開放した。 大規模言語モデル(LLM)の最近の進歩は、パラメータに格納された知識にアクセスするための新しいパラダイムを開放した。 更新情報によるLLMの再学習は資源集約的であるため,モデル編集への関心が高まっている。
    論文  参考訳（メタデータ）   (Tue, 9 Jan 2024 18:03:15 GMT)
  • モデル編集の副作用に関する検証、GPT2-XLとLlama-1-7Bを対象にKN、MEND、ROME、MEMITでModel Editingし、8タスクで評価。結果として性能はかなり劣化したとのこと。
  • 結果としては納得感があり、これら技術を使うには当該分野のテスト方法を確立する必要がありそう。
  • リポジトリはJasonForJoy/Model-Editing-Hurt (github.com)

A Comprehensive Study of Knowledge Editing for Large Language Models

ReMaKE: Retrieval-augmented Multilingual Knowledge Editor

  • Retrieval-augmented Multilingual Knowledge Editing [81.7]
    LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。 知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。 本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
    論文  参考訳（メタデータ）   (Wed, 20 Dec 2023 14:08:58 GMT)
  • マルチリンガルな知識編集手法の提案
  • リポジトリはGitHub – Vicky-Wil/ReMaKE、GitHub – zjunlp/EasyEdit: An Easy-to-use Knowledge Editing Framework for LLMs.を内部的に利用しているよう。

GPTスタイルのモデルに対するニューロンタイプの同定とROME(Rank-One Model Editing)による編集

  • Locating and Editing Factual Knowledge in GPT [32.3]
    我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。 大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合（抽象的な事実を知る、具体的な言葉を言う）と一致している。 この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
    論文  参考訳（メタデータ）   (Thu, 10 Feb 2022 18:59:54 GMT)