LLMRec: Benchmarking Large Language Models on Recommendation Task

  • LLMRec: Benchmarking Large Language Models on Recommendation Task [54.5]
    推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。 
    論文  参考訳(メタデータ)   (Wed, 23 Aug 2023 16:32:54 GMT)
  • LLMを用いた推薦システム用ベンチマークの提案。「The benchmark results demonstrate that existing LLMs perform well in rating prediction tasks but show poor performance in sequential and direct recommendation tasks.」とのことでいわゆる普通のレコメンデーションタスクについては厳しめの結果。
  • リポジトリはhttps://github.com/williamliujl/llmrec

Large Language Models as Zero-Shot Conversational Recommenders

  • Large Language Models as Zero-Shot Conversational Recommenders [52.6]
    ゼロショット設定における代表的大言語モデルを用いた会話推薦タスクに関する実証的研究を行った。 我々は、人気のあるディスカッションサイトをスクラップして、レコメンデーション関連の会話のデータセットを構築した。 我々は、微調整なしでも、大規模な言語モデルは既存の微調整された会話レコメンデーションモデルより優れていることを観察する。 
    論文  参考訳(メタデータ)   (Sat, 19 Aug 2023 15:29:45 GMT)
  • 対話を通して推薦を行うタスク(CRS: Conversational recommender system)ではLLMが優れているという指摘。LLMが優れているのは(レコメンデーションではあるが)対話能力や言語理解、背景知識が重要なタスクだからだろうか。データ構築プロセスからしてリークの懸念がなくは無いように思う。
  • リポジトリはhttps://github.com/aaronheee/llms-as-zero-shot-conversational-recsys

SeamlessM4T

  • SeamlessM4T-Massively Multilingual & Multimodal Machine Translation [90.7]
    音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。 我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。 FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。 
    論文  参考訳(メタデータ)   (Wed, 23 Aug 2023 21:02:01 GMT)
  • Metaによる多言語音声機械翻訳モデルでありS2ST(speech-to-speech translation), S2TT(speech-to-text translation), T2TT(text-to-text translation)+ ASR(automatic speech recognition)に対応。音声からの機械翻訳でSoTAを主張。
  • 以下がリポジトリでモデルも公開されている。https://github.com/facebookresearch/seamless_communication 「seamless_communication is CC-BY-NC 4.0 licensed, as found in LICENSE file」とのこと。