Can LLMs Generate Novel Research Ideas? / Can Large Language Models Unlock Novel Scientific Research Ideas?

LLMが研究のアイデアを生成できるかについての論文が2つでいた。

• Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.3]
  大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。 新しいアイデアとLLMと人間のアイデアの盲点レビューを書くことで、研究アイデアのための現在のLLM能力に関する最初の統計的に重要な結論を得る。 LLMの自己評価の失敗や世代における多様性の欠如など,研究エージェントの構築と評価におけるオープンな問題を明らかにする。 
  論文  参考訳（メタデータ）   (Fri, 06 Sep 2024 08:25:03 GMT)
• LLMのアイデアと人間のアイデアを研究者が比較「we find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged slightly weaker on feasibility.」とのこと。結果も面白いが「7 Limitations of LLMs
  」、「11 Ethical Considerations」の考察も興味深い。
• リポジトリはGitHub – NoviScl/AI-Researcher

• Can Large Language Models Unlock Novel Scientific Research Ideas? [21.2]
  大規模言語モデル(LLM)と公開可能なChatGPTは、人工知能を人々の日常生活に組み込む上で、大きな転換点となっている。 本研究は,研究論文からの情報に基づく新たな研究アイデアを創出する上でのLLMの能力について考察する。
  論文  参考訳（メタデータ）   (Tue, 10 Sep 2024 03:26:42 GMT)
• 上記と近いタイトルだが、こちらは「To address this task, we create a dataset of papers published after the year 2022 from these five domains.We annotate the papers with future research ideas.To evaluate the novelty and relevance of ideas generated by the LLMs, we propose an Idea Alignment Score (IAScore).This score reflects how well the generated ideas align with those proposed by the authors.」という方針で過去論文をもとにしている。Leakageが気になるところ。
• リポジトリはGitHub – sandeep82945/Future-Idea-Generation