日: 2024年3月20日

Editing Conceptual Knowledge for Large Language Models

  • Editing Conceptual Knowledge for Large Language Models [67.8]
    本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
    論文  参考訳（メタデータ）   (Sun, 10 Mar 2024 16:57:10 GMT)
  • 概念を対象とした知識編集手法ができるか検証した論文。事実の編集よりも対象が大きく、既存手法で一定程度可能ではあるが限界もあるよう。ベンチマークデータが公開されていて「 To maintain the quality of our data, we manually review all the descriptions we gathered, replacing any unclear or ambiguous.」とのこと。。。
  • リポジトリはEditing Conceptual Knowledge for Large Language Models (zjukg.org)、データはzjunlp/ConceptEdit · Datasets at Hugging Face

WikiTableEdit

  • WikiTableEdit: A Benchmark for Table Editing by Natural Language Instruction [56.2]
    本稿では,表編集作業におけるLarge Language Models(LLM)の性能について検討する。 Wikiデータセットから26,531のテーブルを活用し、6つの異なる基本操作のための自然言語命令を生成する。 WikiTableEditデータセット上でいくつかの代表的大規模言語モデルを評価し,その課題を実証する。
    論文  参考訳（メタデータ）   (Tue, 5 Mar 2024 13:33:12 GMT)
  • 表を編集するタスク（We select six commonly-employed fundamental operations for our dataset: (1) Adding a new row or column, (2) Removing a row or column, (3) Swapping two rows, (4) Reordering based on a certain column, (5) Merging adjacent cells with identical values, and (6) Splitting the merged cells.）の提案とデータセットの作成。GPT3.5-turboで厳しい感じであり、スコアを見るに簡単に見えて難しいタスクであるよう。（より大規模なモデルでの結果も知りたいところではある）
  • リポジトリはAnonymized Repository – Anonymous GitHub (4open.science)