The Earth is Flat? Unveiling Factual Errors in Large Language Models
The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.9] ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。 論文参考訳（メタデータ） (Mon, 1 Jan 2024 14:02:27 GMT)
「FactChecker can substantially enhance the factual accuracy, resulting in an average improvement of 6.5% for the ICL method, and a notable enhancement of 33.2% for the fine-tuning method.」というのも興味深い（が、この評価を解釈するのは難しそう…）、コード等公開予定とのこと。