タグ: RLHF

PERL: Parameter Efficient Reinforcement Learning

  • PERL: Parameter Efficient Reinforcement Learning from Human Feedback [27.7]
    RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデルと人間の好みを結びつける強力な手法であることが証明されている。 本稿では,Huらによって導入されたLoRA(Lo-Rank Adaptation)のパラメータ効率向上手法を用いて,基礎となるモデルを学習するRLHFについて検討する。 PERLは従来のRLHF設定と同等に動作し、高速かつ少ないメモリでトレーニングを行う。
    論文  参考訳（メタデータ）   (Fri, 15 Mar 2024 21:43:46 GMT)
  • LoRA(Lo-Rank Adaptation)＋Reinforcement Learning from Human Feedback (RLHF)、「Through extensive experiments on various datasets, we have shown that this method achieves comparable results to conventional RLHF, for which all the model parameters are tuned, while reducing memory usage by approx 50%, and speeding up the training by up to 90% for the Reward Model training, and more modest memory savings of 20%, and speed-up of 10% in the RL loop.」とのことで効果的のよう。広範な実験がされており非常に参考になる。
  • 👍と👎で評価された「Taskmaster/TM-4-2024 at master · google-research-datasets/Taskmaster · GitHub」「Taskmaster/TM-3-2020 at master · google-research-datasets/Taskmaster · GitHub」という2つのデータセットが公開されている。

Secrets of RLHF in Large Language Models Part II: Reward Modeling

LLaVA-RLHF

  • Aligning Large Multimodal Models with Factually Augmented RLHF [176.5]
    大規模マルチモーダルモデル(LMM)はモダリティにまたがって構築され、2つのモダリティ間のミスアライメントは「hallucination」をもたらす。 テキスト領域から視覚言語アライメントのタスクまで,RLHF(Reinforcement Learning from Human Feedback)を適応させる。 本稿では、報酬モデルに付加的な事実情報を追加するFactually Augmented RLHFという新しいアライメントアルゴリズムを提案する。 提案手法は,テキストのみのGPT-4の性能レベルが94%であるLLaVA-Benchデータセットにおいて,顕著な改善を実現している。
    論文  参考訳（メタデータ）   (Mon, 25 Sep 2023 20:59:33 GMT)
  • マルチモーダルモデルに対するRLHFとしてFactually Augmented RLHF (Fact-RLHF) を提案。モデルが公開されているのが興味深くGPT-4V（GPT-4V(ision) system card (openai.com)）と比較してみたところ。
  • リポジトリはLLaVA-RLHF。モデルはzhiqings/LLaVA-RLHF-13b-v1.5-336 · Hugging Face（ Apache License 2.0）など。

Secrets of RLHF in Large Language Models Part I: PPO

  • Secrets of RLHF in Large Language Models Part I: PPO [81.0]
    大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 現在の技術ルートには、人間の嗜好を測定するための reward モデル、ポリシーモデルの出力を最適化する Proximal Policy Optimization (PPO)、ステップバイステップの推論能力を改善する process 監督が含まれる。 しかし、報酬設計、環境相互作用、エージェントトレーニングといった課題と、大規模な言語モデルの大規模な試行とエラーコストが相まって、AI研究者が技術的アライメントの開発を動機付ける大きな障壁がある。
    論文  参考訳（メタデータ）   (Tue, 11 Jul 2023 01:55:24 GMT)
  • RLHFに関する詳細なレポート、リポジトリはGitHub – OpenLMLab/MOSS-RLHF: MOSS-RLHF、プロジェクトサイトがMOSS-RLHF (openlmlab.github.io)にある。