Exploring Translation Mechanism of Large Language Models
Exploring Translation Mechanism of Large Language Models [23.7] 大規模言語モデル(LLM)は多言語翻訳タスクにおいて著しく成功している。 本研究では,計算成分の観点から,LLMの翻訳機構について検討する。 論文参考訳（メタデータ） (Mon, 17 Feb 2025 13:50:29 GMT)
LLMを用いた翻訳の解析。「translation is predominantly facilitated by a sparse subset of specialized attention heads (less than 5%), which extract source language, indicator, and positional features. MLPs subsequently integrate and process these features by transiting towards English-centric latent representations.」とのこと。