2026年2月6日 – arXiv最新論文の紹介

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding [71.9]
マルチベクトル埋め込み構築のための自動回帰生成手法CausalEmbedを提案する。コントラストトレーニング中に反復的マージン損失を導入することで、CausalEmbedは埋め込みモデルにコンパクトでよく構造化された表現を学ぶことを奨励する。本手法は,数十個の視覚トークンを用いた効率的なVDR処理を実現し,トークン数を30～15倍削減する。
論文参考訳（メタデータ） (Thu, 29 Jan 2026 04:47:27 GMT)
「In this paper, we propose a novel paradigm, CAUSALEMBED, which generates multi-vector embeddings in an auto-regressive manner with significantly shorter sequence lengths. Extensive experiments demonstrate that CAUSALEMBED outperforms pruning-based baselines, achieving superior performance at an extreme 30× compression ratio.」とARモデルを活用した効率的なEmbedding手法の提案。

Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models [122.6]
機械的解釈可能性 (MI) は、大規模言語モデル (LLM) の意思決定を決定づける重要なアプローチとして登場した。 Awesomeinterventionable-MI-Survey” というパイプラインを中心に構築された実践的調査を提案する。
論文参考訳（メタデータ） (Tue, 20 Jan 2026 14:23:23 GMT)
LLMの意思決定を“Locate, Steer, and Improve.”というパイプラインでとらえてのサーベイ。
リポジトリはGitHub – rattlesnakey/Awesome-Actionable-MI-Survey: The Github repo for our survey paper: “Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models”