- TIM: Teaching Large Language Models to Translate with Comparison [52.8]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文 参考訳（メタデータ） (Mon, 10 Jul 2023 08:15:40 GMT) - 正しい翻訳と間違った翻訳間のpreference loss を導入してLLMの翻訳性能を上げる手法の提案。通常のfine tuningにくらべ優れた性能を発揮。新たな言語へのZero-shot Translation能力も向上している点も興味深い。他のタスクのマルチリンガル性能への影響も気になるところ。
- リポジトリはGitHub – lemon0830/TIM: code for Teaching LM to Translate with Comparison
日: 2023年7月18日
PromptSRC: Prompting with Self-regulating ConstraintsPromptSRC:
- Self-regulating Prompts: Foundational Model Adaptation without Forgetting [98.2]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを紹介する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。 私たちの知る限りでは、過度に適合しない素早い学習のための最初の正規化フレームワークです。
論文 参考訳（メタデータ） (Thu, 13 Jul 2023 17:59:35 GMT) - Prompt learningにregularizationを入れる取り組み
- リポジトリはGitHub – muzairkhattak/PromptSRC: [ICCV 2023] Official repository of paper titled “Self-regulating Prompts: Foundational Model Adaptation without Forgetting”.