- Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture [65.9]
自己回帰(AR)モデルの代替として、仮面拡散モデル(MDM)が登場している。 ARモデルはデコーダのみであることが多いが、MDMはエンコーダのみである。 本研究は,デコーダのみのフレームワークにおけるMDMを評価した。 MDM内でアーキテクチャの影響(デコーダのみ対エンコーダのみ)を調査する。
論文 参考訳(メタデータ) (Tue, 24 Jun 2025 18:22:25 GMT) - AutoRegressive (AR) と Masked Diffusion Models (MDMs)の比較評価。
- リポジトリはGitHub – scxue/AO-GPT-MDM: Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture. Training an MDM using GPT with this repo!