Fine-grained Hallucination Detection and Editing for Language Models

  • Fine-grained Hallucination Detection and Editing for Language Models [114.3]
    大規模言語モデル(LM)は、多種多様な事実的不正確な文を生成する傾向にあり、幻覚と呼ばれる。 現在のアプローチは主に、粗い粒度の自動幻覚検出や編集に重点を置いており、微妙なエラーレベルを見下ろしている。 そこで本研究では、6つの階層的に定義された幻覚を包含する分類法を提案する。
    論文  参考訳（メタデータ）   (Fri, 12 Jan 2024 19:02:48 GMT)
  • Hallucinationを6カテゴリに分け、ベンチマークを構築、検出方法としてFAVA (FAct Vericaton with Augmentation)を提案。「ChatGPT (gpt-3.5-turbo-0301) with a carefully designed prompt describing all six categories with two demonstrations.」や左記＋Contriever のベースラインに比べて高い性能とのこと。
  • プロジェクトサイトはFine-grained Hallucination Detection and Editing For Language Models (fine-grained-hallucination.github.io)

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です