RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles [18.1] 自己参照因果サイクル(RECALL)の概念を紹介する。 これにより、一方向因果関係の制限を回避できる。 RECALLは、私たちがサイクルトークンとして指定したものによって駆動されています。 論文参考訳(メタデータ) (Thu, 23 Jan 2025 09:14:07 GMT)
self-referencing causal cycles、RECALL 「a mechanism that enables large language models (LLMs) to bypass the limitations of unidirectional causality, which underlies a phenomenon known as the reversal curse.」の提案。Causal language modelでよくみられるの課題への対応で興味深い。