Retrieval Augmented Recipe Generation

  • Retrieval Augmented Recipe Generation [96.4]
    本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
    論文  参考訳(メタデータ)   (Wed, 13 Nov 2024 15:58:50 GMT)
  • レシピ生成でもRAG、RetrieverとしてStochastic Diversified Retrieval Augmentation (SDRA)、最終ステージで Self consistency Ensemble Votingを採用。ingredients と instructionを検索したうえでレシピ化、複数作成したうえで投票により最終レシピを決定と、レシピの特性に沿った凝ったパイプライン構成に見える。