- DePT: Decoupled Prompt Tuning [133.7]
この作業は、即時チューニングにおいてBase-New Tradeoff (BNT)ジレンマを突破する。 チューニングされたモデルがベースタスクに一般化されるほど、それが新しいタスクに一般化される。 提案するDecoupled Prompt Tuning (DePT) フレームワークは,プロンプトチューニング中に特徴チャネルから独立した特徴空間へベース固有の知識を分離する。
論文 参考訳（メタデータ） (Thu, 14 Sep 2023 05:45:40 GMT) - GitHub – Koorye/DePT: Offical implemention of paper “Decoupled Prompt Tuning”
タグ: Prompt
Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions
- Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions [122.4]
最近、MLLM(Multimodal Large Language Models)が大きな関心を集め、様々な視覚言語タスクの汎用モデルとして機能する創発的な能力を示している。 既存の手法は主に、1つのイメージを視覚的コンテキストとする限られたタイプの命令に焦点を当てており、MLLMの普及を妨げている。 本稿では,トランスフォーマーをベースとしたMLLMであるCheetorについて述べる。
論文 参考訳（メタデータ） (Thu, 10 Aug 2023 07:02:13 GMT) - 包括的なVision-Language instruction followingベンチマークる I4 (Interconnected, Interleaved Image-Text Instruction-Following)ベンチマークの構築と、CLORI（controllable knowledge re-injection）フレームワークの提案。これらを適用したCheetorは他のVLモデルと比べても優れた性能とのこと。
- リポジトリはGitHub – DCDmllm/Cheetah
prompt extraction attacks
- Prompts Should not be Seen as Secrets: Systematically Measuring Prompt Extraction Attack Success [13.8]
本稿では,迅速な抽出攻撃の成功を測定するための枠組みを提案する。 単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。
論文 参考訳（メタデータ） (Thu, 13 Jul 2023 16:15:08 GMT) - Prompt抽出攻撃が高い確率で成功し、かつ、成功したことを確認可能であるという報告。防御も簡単ではないとのこと。。
PromptSRC: Prompting with Self-regulating ConstraintsPromptSRC:
- Self-regulating Prompts: Foundational Model Adaptation without Forgetting [98.2]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを紹介する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。 私たちの知る限りでは、過度に適合しない素早い学習のための最初の正規化フレームワークです。
論文 参考訳（メタデータ） (Thu, 13 Jul 2023 17:59:35 GMT) - Prompt learningにregularizationを入れる取り組み
- リポジトリはGitHub – muzairkhattak/PromptSRC: [ICCV 2023] Official repository of paper titled “Self-regulating Prompts: Foundational Model Adaptation without Forgetting”.
An Empirical Study on Challenging Math Problem Solving with GPT-4
- An Empirical Study on Challenging Math Problem Solving with GPT-4 [35.5]
この研究は、より複雑で挑戦的な数学問題の解決にGPT-4を使うことのフロンティアを探求する。 本研究で新たに提案された会話型問題解決フレームワークであるMathChatを提案する。 我々は,MATHデータセットを用いて,難易度の高い高校競争問題の評価を行う。
論文 参考訳（メタデータ） (Thu, 8 Jun 2023 02:34:35 GMT) - ユーザプロキシーエージェントと会話しながら数学的な問題を解くフレームワークの提案。Program of ThoughtsやProgram Synthesis promptingを超える性能とのこと。
- リポジトリはFLAML/flaml/autogen/math at gpt_math_solver · kevin666aa/FLAML · GitHub
- Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.7]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち DELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (Sun, 4 Jun 2023 17:02:59 GMT) - こちらも数学的な問題を解くためのフレームワーク提案（データセットの提案も）
- リポジトリはGitHub – RUCAIBox/CARP
InstructZero
- InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models [117.9]
大規模言語モデル(LLM)は命令従者であるが、異なる状況に最適な命令を見つけることは困難である。 我々は,オープンソースLLMに適用した低次元ソフトプロンプトを最適化し,ブラックボックスLLMの命令を生成する。 InstructZero は,様々な下流タスクにおいて SOTA 自動命令手法より優れていることを示す。
論文 参考訳（メタデータ） (Mon, 5 Jun 2023 17:55:22 GMT) - プロンプトを自動で改善する取り組み、ブラックボックスなLLM（GPT-4など）に対して直接プロンプトを最適化するのではなく、オープンソースなLLMを併用する事が特徴的。Fugu-MT 論文翻訳(概要): Large Language Models Are Human-Level Prompt Engineers (fugumt.com)を上回る結果
- リポジトリはGitHub – Lichang-Chen/InstructZero: Official Implementation of InstructZero; the first framework to optimize bad prompts of ChatGPT(API LLMs) and finally obtain good prompts!
ExpertPrompting
- ExpertPrompting: Instructing Large Language Models to be Distinguished Experts [93.6]
ExpertPromptingは、著名な専門家として答えるために、大きな言語モデルの可能性を秘めている。 我々はGPT-3.5を使って新しい命令追跡データを作成し、ExpertLLaMAと呼ばれる競合するオープンソースのチャットアシスタントを訓練する。
論文 参考訳（メタデータ） (Wed, 24 May 2023 03:51:31 GMT) - 工夫したプロンプト戦略を使ってデータセットを作成しLLaMA 7Bをチューニング、Vicunaなどを超えChatGPTの96%の能力を達成とのこと。Bardを超えているようにみえるのも興味深い。
- リポジトリはGitHub – OFA-Sys/ExpertLLaMA: An opensource ChatBot built with ExpertPrompting which achieves 96% of ChatGPT’s capability.
Segment Everything Everywhere All at Once
- Segment Everything Everywhere All at Once [93.3]
SEEMは、全てを一度にイメージに分割するための、迅速でインタラクティブなモデルである。 本論文では,SEEMについて述べる。SEEMは,任意の場所を一度に分割する,迅速かつインタラクティブなモデルである。
論文 参考訳（メタデータ） (Thu, 13 Apr 2023 17:59:40 GMT) - プロンプトに対応したセグメンテーションモデル、クリックなど言葉以外でのプロンプティングが可能
- リポジトリはGitHub – UX-Decoder/Segment-Everything-Everywhere-All-At-Once: Official implementation of the paper “Segment Everything Everywhere All at Once”
A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges
- A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges [25.3]
限定ラベル付きデータを用いたモデル一般化能力の向上を目的として,事前学習,即時予測の新たな訓練パラダイムが提案されている。 この調査は構造化グラフ間のギャップを埋め、将来の方法論開発を促進するために設計を促す試みである。
論文 参考訳（メタデータ） (Mon, 13 Mar 2023 16:49:43 GMT) - グラフ構造の知識をプロンプトに反映、または、プロンプトを使ってグラフを分析などグラフ構造とPromptを用いたモデルの関係をサーベイした論文
- 短めであるがいろいろな試みがなされているのがわかる。
A Picture is Worth a Thousand Words: Language Models Plan from Pixels
- A Picture is Worth a Thousand Words: Language Models Plan from Pixels [53.9]
計画は, 実環境下で長時間の作業を行う人工エージェントの重要な機能である。 本研究では,事前学習型言語モデル(PLM)を用いて,具体的視覚環境におけるテキスト命令からのプランシーケンスを推論する。
論文 参考訳（メタデータ） (Thu, 16 Mar 2023 02:02:18 GMT) - Visualプロンプトによる計画作成。PLMをうまく使うためソフトプロンプトの形でデータを扱っているよう
- 言語モデルか？という感じの使い方もかなりうまく動く報告が多くて面白い。GPT-4ではマルチモーダル対応でもう少しうまく取り合変えそう（将来的にはTextlessNLPっぽく扱ったりするんだろうか。）