コンテンツへスキップ
- Prompt Compression for Large Language Models: A Survey [31.6]
本稿では, ハードプロンプト法とソフトプロンプト法に分類した, プロンプト圧縮技術の概要について述べる。 また, 各種急速圧縮手法の下流適応について検討した。
論文 参考訳（メタデータ） (Wed, 16 Oct 2024 09:13:23 GMT)
- プロンプト圧縮手法のサーベイ
- Towards Agile Text Classifiers for Everyone [10.4]
本稿では,アジャイルテキスト分類の手法を紹介し,評価する。 そこで本研究では,PaLM 62Bのような高速チューニング型大規模言語モデルに対して,80例までのラベル付きデータセットを適用すれば,最先端のパフォーマンスを実現することができることを示す。 これはテキスト分類のパラダイムシフト、特により安全なオンライン談話をサポートするモデルに有効である、と我々は主張する。
論文 参考訳（メタデータ） (Mon, 13 Feb 2023 17:34:13 GMT)
- 大規模言語モデル＋ソフトプロンプトの強力さが分かる論文
- PaLM 62Bモデルのプロンプトチューニングの場合100以下の事例で十分な性能のテキスト分類器を構築可能とのこと。この方針だと大量のアノテーションを行わなくても良く実用的。GPT-3.5などのfew shotも強力だが、頑張ればアノテーションできる量の情報を過不足なく使うという方針もとても有望だと思う。