タグ: Fact Checking

Factcheck-GPT

  • Factcheck-GPT: End-to-End Fine-Grained Document-Level Fact-Checking and Correction of LLM Output [124.3]
    本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 ラベル付け手順を高速化し、ラッカーの作業を簡単にするためのアノテーションツールを設計し、構築する。 オープンドメインの文書レベルの事実性ベンチマークを3段階のクレーム,文,文書で構築する。
    論文  参考訳（メタデータ）   (Wed, 15 Nov 2023 14:41:57 GMT)
  • LLMのためのファクトチェックベンチマーク＆アノテーションツールの提案。「This reveals that current mainstreaming SOTA fact-checkers still have large room to improve on verification, particularly on false claims (F1<0.53).」とのこと。
  • リポジトリはGitHub – yuxiaw/Factcheck-GPT: Fact-Checking the Output of Generative Large Language Models in both Annotation and Evaluation.

Fin-Fact

  • Fin-Fact: A Benchmark Dataset for Multimodal Financial Fact Checking and Explanation Generation [31.2]
    Fin-Factは金融ドメイン内のマルチモーダル事実チェックのためのベンチマークデータセットである。 専門的なファクトチェッカーアノテーションと正当化が含まれ、専門知識と信頼性を提供する。
    論文  参考訳（メタデータ）   (Fri, 15 Sep 2023 22:24:00 GMT)
  • 金融分野のファクトチェッキング用データセット＆ベンチマーク
  • リポジトリはGitHub – IIT-DM/Fin-Fact: A Benchmark Dataset for Multimodal Scientific Fact Checking、MITライセンスのよう

FacTool

  • FacTool: Factuality Detection in Generative AI — A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios [87.1]
    より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。 大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
    論文  参考訳（メタデータ）   (Tue, 25 Jul 2023 14:20:51 GMT)
  • 生成AIが生成したデータに対するFact Checkツールの提案。knowledge-based QA, code generation, mathematical reasoning, scientific literature reviewで有効性を確認とのこと。
  • LLMを用いてクレーム検出→クエリ作成（検索エンジン等の利用）→クエリー＆エビデンス収集→検証する流れで人が行う検証と同じ手順。FACTOOL powered by GPT-4は性能が高くself check系のベースラインを大きく上回っている。
  • （今までであればそれぞれのステップ1つ1つが簡単ではないタスクとして扱われていたはずだが、LLMの登場で1モデルで実施可能になっている点も感慨深い。）
  • リポジトリはGitHub – GAIR-NLP/factool: FacTool: Factuality Detection in Generative AI

Fact Checkingのサーベイ

  • Automated Fact-Checking: A Survey [5.7]
    自然言語処理(NLP)の分野の研究者は、ファクトチェックデータセットを構築することで、このタスクに貢献している。 本稿では,クレーム検出とクレーム検証の両方を対象とする自動ファクトチェックについて検討する。
    論文  参考訳（メタデータ）   (Thu, 23 Sep 2021 15:13:48 GMT)
    • 以前紹介したものとは別チームによるFact-Checkingのサーベイ。データセットの名前が異なったりしていて興味深い（？）

自動Fact-Checkingのサーベイ

  • A Survey on Automated Fact-Checking [18.3]
    本稿では,自然言語処理によるファクトチェックの自動化について検討し,関連する課題や規律との関係について考察する。 既存のデータセットとモデルを概観し、与えられた様々な定義を統一し、共通の概念を識別することを目的としている。
    論文  参考訳（メタデータ）   (Thu, 26 Aug 2021 16:34:51 GMT)
    • ファクトチェックに関する要素を分析、関連するデータセットを一覧化、モデル構築のアプローチを整理している。この分野の歴史を振り返るうえで優れた資料。Research Challenges のところは自然言語処理一般に言える難しさも多い。
    • 本文は12ページとサーベイにしては短め。