- ComPO: Community Preferences for Language Model Personalization [122.5]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文 参考訳（メタデータ） (Mon, 21 Oct 2024 14:02:40 GMT) - 言語モデルをpersonalizationする手法COMPOの提案。「Our proposed community preference optimization incorporates subreddit-specific contexts into the model, tailoring outputs to align with the distinct norms and values of individual communities.」というアプローチ。
- リポジトリはGitHub – allenai/compred: Reddit Community Preferences
日: 2024年10月31日
Prompt Compression for Large Language Models: A Survey
- Prompt Compression for Large Language Models: A Survey [31.6]
本稿では, ハードプロンプト法とソフトプロンプト法に分類した, プロンプト圧縮技術の概要について述べる。 また, 各種急速圧縮手法の下流適応について検討した。
論文 参考訳（メタデータ） (Wed, 16 Oct 2024 09:13:23 GMT) - プロンプト圧縮手法のサーベイ
Unleashing Reasoning Capability of LLMs via Scalable Question Synthesis from Scratch
- Unleashing Reasoning Capability of LLMs via Scalable Question Synthesis from Scratch [28.5]
ScaleQuestはスケーラブルで斬新なデータ合成手法である。 複雑な拡張制約を持つシードデータを必要とせずに、スクラッチから質問を生成する。 主要なオープンソースモデルの性能を普遍的に向上させることができる。
論文 参考訳（メタデータ） (Thu, 24 Oct 2024 12:42:04 GMT) - 商用モデルでは広く利用されていると思われる、合成データを介してモデル性能を強化するフレームワークの提案。「 Our experiments demonstrate the model’s self-improvement capability, meaning that it can generate data of higher quality than its original training set.」という記載も興味深い。
- リポジトリはGitHub – yyDing1/ScaleQuest: We introduce ScaleQuest, a scalable, novel and cost-effective data synthesis method to unleash the reasoning capability of LLMs.