月: 2023年8月

An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

  • An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [74.0]
    カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが新しい情報を学ぶ際に学習した情報を忘れたときに発生する現象である。 本研究では,大言語モデルの知識における忘れ現象を,ドメイン知識,推論,理解という観点から実証的に評価する。 
    論文  参考訳（メタデータ）   (Thu, 17 Aug 2023 02:53:23 GMT)
  • 破壊的忘却に関する報告、デコーダonlyなBLOOMZとエンコーダ-デコーダなmT0を比較すると、BLOOMZの方が知識を維持しやすいという結果。「 diverse instruction tuning can help mitigate the CF phenomenon 」を含めとても興味深い。
  • リポジトリはhttps://github.com/LuoXiaoHeics/Continual-Tune

FSCIL(Few-shot Class-Incremental Learning)のサーベイ

  • Few-shot Class-incremental Learning: A Survey [16.7]
    FSCIL(Few-shot Class-Incremental Learning)は、機械学習においてユニークな課題である。 本稿は、FSCILの総合的かつ体系的なレビューを提供することを目的としている。
    論文  参考訳（メタデータ）   (Sun, 13 Aug 2023 13:01:21 GMT)
  • 学習した知識を忘れずに新たなクラスを扱う（各クラスは限られたデータしかない）手法（FSCIL(Few-shot Class-Incremental Learning)）のサーベイ

ExpeL: Experiential Learning

  • ExpeL: LLM Agents Are Experiential Learners [60.5]
    実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。 
    論文  参考訳（メタデータ）   (Sun, 20 Aug 2023 03:03:34 GMT)
  • Experiential Learningとしてパラメータチューニングを必要としないLLMの自律的な学習？手法を提案。過去の経験を記憶、評価、修正していくアプローチのようにみえ、全てを自然言語で処理していくのが面白い。人間がとって活用していくメモのように見える。ReActより優れたパフォーマンスとのこと。
  • リポジトリはhttps://github.com/Andrewzh112/ExpeLだがComing soon

Machine Unlearningのサーベイ

  • Machine Unlearning: Solutions and Challenges [23.1]
    機械学習モデルは、機密性、不正、悪意のあるデータを不注意に記憶し、プライバシ侵害、セキュリティ侵害、パフォーマンス劣化のリスクを生じさせる可能性がある。 これらの問題に対処するために、機械学習は訓練されたモデルに対する特定の訓練データポイントの影響を選択的に除去する重要なテクニックとして登場した。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 10:45:51 GMT)
  • Machine Unlearningのサーベイ、EXACT UNLEARNING、APPROXIMATE UNLEARNINGに分けてレビューがなされている。SISA(Sharding, Isolation, Slicing, and Aggregation )が有名な気がしつつ、いろいろなアプローチがあって興味深い。

Camouflaged Image Synthesis Is All You Need to Boost Camouflaged Detection

  • Camouflaged Image Synthesis Is All You Need to Boost Camouflaged Detection [65.9]
    本研究では,カモフラージュデータの合成フレームワークを提案する。 提案手法では,既存の物体検出モデルのトレーニングに使用可能な,現実的なカモフラージュ画像の生成に生成モデルを用いる。 我々のフレームワークは3つのデータセット上で最先端の手法より優れています。
    論文  参考訳（メタデータ）   (Sun, 13 Aug 2023 06:55:05 GMT)
  • camouflaged object detectionに合成データを用いるアプローチを提案、複数のデータでSoTAを主張。データ生成はGANベースとのこと。
  • 正直やや意外な結果、カモフラージュデータの生成の方が物体検出より容易とのことなのだろうか・・・？

ChatEval

LLMRec: Benchmarking Large Language Models on Recommendation Task

  • LLMRec: Benchmarking Large Language Models on Recommendation Task [54.5]
    推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。 
    論文  参考訳（メタデータ）   (Wed, 23 Aug 2023 16:32:54 GMT)
  • LLMを用いた推薦システム用ベンチマークの提案。「The benchmark results demonstrate that existing LLMs perform well in rating prediction tasks but show poor performance in sequential and direct recommendation tasks.」とのことでいわゆる普通のレコメンデーションタスクについては厳しめの結果。
  • リポジトリはhttps://github.com/williamliujl/llmrec

Large Language Models as Zero-Shot Conversational Recommenders

  • Large Language Models as Zero-Shot Conversational Recommenders [52.6]
    ゼロショット設定における代表的大言語モデルを用いた会話推薦タスクに関する実証的研究を行った。 我々は、人気のあるディスカッションサイトをスクラップして、レコメンデーション関連の会話のデータセットを構築した。 我々は、微調整なしでも、大規模な言語モデルは既存の微調整された会話レコメンデーションモデルより優れていることを観察する。 
    論文  参考訳（メタデータ）   (Sat, 19 Aug 2023 15:29:45 GMT)
  • 対話を通して推薦を行うタスク（CRS: Conversational recommender system）ではLLMが優れているという指摘。LLMが優れているのは（レコメンデーションではあるが）対話能力や言語理解、背景知識が重要なタスクだからだろうか。データ構築プロセスからしてリークの懸念がなくは無いように思う。
  • リポジトリはhttps://github.com/aaronheee/llms-as-zero-shot-conversational-recsys

SeamlessM4T

  • SeamlessM4T-Massively Multilingual & Multimodal Machine Translation [90.7]
    音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。 我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。 FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。 
    論文  参考訳（メタデータ）   (Wed, 23 Aug 2023 21:02:01 GMT)
  • Metaによる多言語音声機械翻訳モデルでありS2ST(speech-to-speech translation), S2TT(speech-to-text translation), T2TT(text-to-text translation)＋ ASR(automatic speech recognition)に対応。音声からの機械翻訳でSoTAを主張。
  • 以下がリポジトリでモデルも公開されている。https://github.com/facebookresearch/seamless_communication　「seamless_communication is CC-BY-NC 4.0 licensed, as found in LICENSE file」とのこと。

Large Language Models for Information Retrieval: A Survey

  • Large Language Models for Information Retrieval: A Survey [56.4]
    情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 ニューラルネットワークは複雑なコンテキスト信号や意味的ニュアンスを捉えるのに優れていますが、データ不足、解釈可能性、文脈的に妥当で不正確な応答の生成といった課題に直面しています。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
    論文  参考訳（メタデータ）   (Tue, 15 Aug 2023 12:09:20 GMT)
  • LLMと情報検索に関するサーベイ、query rewritingだけでも色々なアプローチがあることが分かり興味深い。