2024.07.17

BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science

  • BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science [43.6]
    BioKGBenchはAI駆動型バイオメディカルエージェントの評価ベンチマークである。 私たちはまず『Understanding Literature』を2つの原子能力に分解した。 次に、KGQAとドメインベースのRetrieval-Augmented Generationを用いて、KGCheckと呼ばれる新しいエージェントタスクを定式化する。 2つのアトミックなタスクに対して2万以上のデータを集め、225の高品質なアノテートされたデータをエージェントタスクに対して収集する。
    論文  参考訳(メタデータ)   (Sat, 29 Jun 2024 15:23:28 GMT)
  • biomedical分野向けのAIエージェントベンチマーク。「Knowledge Graph Question Answering」、「Scientific Claim Verification」を基礎的能力としてKGCheckという総合的なタスクを提案
  • リポジトリはGitHub - westlake-autolab/Agent4S-BioKG: Agent4S-BioKG: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science