最新の記事

• Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track [51.3]
  RAGベースの検索システムを構築、テスト、視覚化、体系的に評価するためのアリーナを持つことが不可欠である。 TREC 2024 RAG Trackを提案する。
  論文  参考訳（メタデータ）   (Mon, 24 Jun 2024 17:37:52 GMT)
• すごい名前のRAG評価用ベンチマーク・フレームワーク
• リポジトリはGitHub - castorini/ragnarok: Retrieval-Augmented Generation battle!

Googleから公開モデルとしては規模の大きいLLM Gemma2がリリースされた。9Bと27Bの公開。Llama3など競合する公開モデルを超える性能とのこと。テクニカルレポート（gemma-2-report.pdf (storage.googleapis.com)）には「The 9 billion and 27 billion parameter models are available today, with a 2 billion parameter model to be released shortly.」とある。「We also train the 2B and 9B models with knowledge distillation (Hinton et al , 2015) instead of next token prediction. The resulting models deliver the best performance for their size, and even offer competitive alternatives to models that are 2-3× bigger.」と蒸留を効果的に使っているもの面白い。5. Ablationsをみるに効果は大きそう

• ニュースリリース：Google launches Gemma 2, its next generation of open models (blog.google)
• リポジトリ
  • google/gemma-2-9b-it · Hugging Face
  • google/gemma-2-27b-it · Hugging Face

いつもの翻訳ベンチマークでは非常に高い性能を示した。期待大である。Gemma 2 9Bの機械翻訳性能 | ぷるーふおぶこんせぷと (staka.jp)

OpenAIからはGPT-4の間違いを見つけ修正提案するCriticGPTが出ている。今はコードの修正が対象。限界もあるようだがこのような研究は重要。Finding GPT-4’s mistakes with GPT-4 | OpenAI

• The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources [100.2]
  ファンデーションモデル開発は、急速に成長するコントリビュータ、科学者、アプリケーションを引き付けている。 責任ある開発プラクティスを形成するために、我々はFoundation Model Development Cheatsheetを紹介します。
  論文  参考訳（メタデータ）   (Wed, 26 Jun 2024 02:19:01 GMT)
• 責任ある基盤モデル開発のためのチートシート。チートシートとあるが広範な内容となっている。
• プロジェクトサイトはResources for Foundation Models - Foundation Model Development Cheatsheet (fmcheatsheet.org)

• SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation [45.4]
  本稿では,Self-Aware Knowledge Retrieval (SeaKR)を紹介する。 SeaKRは, LLMの自己認識不確かさを内部状態から抽出する適応RAGモデルである。 複雑で単純な問合せ解答データセットを用いた実験により,SeaKRが既存の適応RAG法より優れていることが示された。
  論文  参考訳（メタデータ）   (Thu, 27 Jun 2024 14:38:33 GMT)
• 「SEAKR activates retrieval when the LLMs present high self-aware uncertainty for generation.」という戦略のRAG。Agenticで複雑な動作でFLARE（Fugu-MT 論文翻訳(概要): Active Retrieval Augmented Generation (fugumt.com)）やDRAGIN（Fugu-MT 論文翻訳(概要): DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of Large Language Models (fugumt.com)）を上回る。
• リポジトリはGitHub - THU-KEG/SeaKR

• Themis: Towards Flexible and Interpretable NLG Evaluation [39.1]
  我々は,人間とGPT-4アノテーションを併用した大規模NLG評価コーパスNLG-Evalを構築し,この分野における関連データの欠如を軽減した。 我々は,NLG評価専用のLLMであるThemisを提案する。
  論文  参考訳（メタデータ）   (Wed, 26 Jun 2024 14:04:29 GMT)
• 評価のためのデータセット構築（0.5 million samples and 58 datasets across 9 NLG tasks）とfine tunedなモデルの提案。UniEvalやGEvalを上回る性能。
• リポジトリはGitHub - PKU-ONELab/Themis: The official repository for our NLG evaluation LLM Themis and the paper Themis: Towards Flexible and Interpretable NLG Evaluation.

• On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey [26.7]
  大規模言語モデル(LLM)は、合成データ生成による現実世界のデータ制限を軽減するために、データ中心のソリューションを提供する。 本稿では、合成データ生成の一般的なワークフローに基づく、関連する研究の組織を提供する。
  論文  参考訳（メタデータ）   (Fri, 14 Jun 2024 07:47:09 GMT)
• 合成データ生成の汎用ワークフローに関するサーベイ

• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.4]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ）   (Thu, 20 Jun 2024 16:59:52 GMT)
• コード生成におけるRAGの検証。コード生成では効果があるが、Retrieveが難しいという意外な結果。
• プロジェクトサイトはCodeRAG-Bench: Can Retrieval Augment Code Generation? (code-rag-bench.github.io)

• A Survey on Compositional Learning of AI Models: Theoretical and Experimetnal Practices [15.9]
  構成学習は人間の認知、特に人間の言語理解と視覚知覚において重要である。 インテリジェンスにおいて重要な役割を担っているにもかかわらず、体系的な理論的、実験的研究方法論が欠如している。 本稿では,AIモデルの構成学習に関する文献と,認知研究との関わりについて考察する。
  論文  参考訳（メタデータ）   (Thu, 13 Jun 2024 03:46:21 GMT)
• Compositional learning（「mastering the ability to combine basic concepts and construct more intricate ones」）のサーベイ。

• SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.3]
  LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。 そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。 我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
  論文  参考訳（メタデータ）   (Fri, 14 Jun 2024 21:52:21 GMT)
• 大学生のを対象とした試験のベンチマーク「SciEx is (1) multilingual, containing both English and German exams, and (2) multi-modal, containing questions that involve images, and (3) contains various types of freeform questions with different difficulty levels, due to the nature of university exams.」とのこと。意外なことに（？）GPT-4VよりもClaude Opusのほうが高いスコア。
• リポジトリはtuanh23/SciEx · Datasets at Hugging Face

• AgileCoder: Dynamic Collaborative Agents for Software Development based on Agile Methodology [5.2]
  アジャイル方法論をフレームワークに統合するマルチエージェントシステムであるAgileCoderを提案する。 このシステムは、Product Manager、Developer、Testerといった特定のAMロールを異なるエージェントに割り当て、ユーザ入力に基づいて協調してソフトウェアを開発する。 また、動的コードグラフ生成(Dynamic Code Graph Generator)も導入しています。
  論文  参考訳（メタデータ）   (Sun, 16 Jun 2024 17:57:48 GMT)
• コード生成においてAgentをAgile的に動かすことが効果的だったという報告。ほんまかいなと思う一方でソフトウエア開発プロセスの評価を定量的にできる可能性があり興味深い。
• プロジェクトサイトはGitHub - FSoft-AI4Code/AgileCoder: Dynamic Collaborative Agents for Software Development