Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations [33.5] 単言語モデルのエントロピーを利用して言語間表現を導出するフレームワークであるEntropy2Vecを紹介する。 一つの言語で言語モデルを訓練することにより、その予測のエントロピーは他の言語と構造的類似性を反映していると仮定する。 このアプローチは、異なる時間枠に適応し、欠落した値のない、密集した非スパースな言語埋め込みをもたらす。 論文参考訳（メタデータ） (Fri, 05 Sep 2025 12:40:31 GMT)
「TROPY2VEC, a framework that derives language representations based on the entropy of monolingual language models (LMs). Entropy, a measure of uncertainty in information theory, reflects the predictability of a language’s structure.」という面白いアプローチ。