Vera: A General-Purpose Plausibility Estimation Model for Commonsense Statements

  • Vera: A General-Purpose Plausibility Estimation Model for Commonsense Statements [109.9]
    本稿では,コモンセンス知識に基づく宣言文の妥当性を推定する汎用モデルであるVeraを紹介する。 19のQAデータセットと2つの大規模ナレッジベースから生成された7Mのコモンセンスステートメントに基づいてトレーニングされた。 Vera は LM 生成したコモンセンス知識のフィルタリングに優れており,ChatGPT などのモデルが生成する誤ったコモンセンス文を実環境で検出するのに有用である。
    論文  参考訳(メタデータ)   (Fri, 5 May 2023 17:15:32 GMT)
  • LLMが生成する文書をフィルタリングするような用途で使える常識の推測モデルの提案。既存データセットをうまく使い、LLM+プロンプトよりもかなり性能が高い。生成分を何らかの方法で検証するような動きは有用だと思う
  • デモがVera – a Hugging Face Space by liujch1998にある

Reasoning with Language Model Prompting: A Survey