日: 2024年6月19日

Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

  • Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.1]
    Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
    論文  参考訳（メタデータ）   (Thu, 13 Jun 2024 14:07:02 GMT)
  • ToTの経路を用いてチューニング（DPO）するChain of Preference Optimizationにより、CoTを超え、ToTに近い性能を達成、計算時間も抑えられるとする論文。シンプルにSFTするTS-SFTより性能が高いのが意外。
  • リポジトリはGitHub – sail-sg/CPO

Memorization in deep learning: A survey 

  • Memorization in deep learning: A survey [26.7]
    近年の研究では、Deep Neural Networks(DNN)が一般的なパターンを学習するのではなく、例から特定の詳細を記憶する傾向にある興味深い現象が明らかになった。 これにより、DNNにおける一般化の性質と、セキュリティ侵害に対する感受性に関する批判的な疑問が提起される。 一般化とセキュリティ/プライバシドメインに基づく記憶定義を整理するための体系的枠組みを提案する。
    論文  参考訳（メタデータ）   (Thu, 06 Jun 2024 09:17:40 GMT)
  • DNNにおける記憶（、知識）についてのサーベイ
  • 著作権の観点で一般化しているのか丸暗記しているのか、実用の観点では個別の記憶を持たせられるのか編集出来るのかなど、様々な観点で重要な性質であり、まとまったサーベイはありがたい。