From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence 

  • From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence [91.5]
    エピプレキシティ(英: Epiplexity)とは、計算的に境界付けられた観測者がデータから学べるものを捉える情報の形式化である。 計算によってどのように情報を生成するか、データの順序にどのように依存するか、そしてモデリングがデータ生成プロセス自体よりも複雑なプログラムを生成する可能性を示す。
    論文  参考訳（メタデータ）   (Tue, 06 Jan 2026 18:04:03 GMT)
  • 分野・キーワードとしてはシャノンの情報量やコルモゴロフ複雑性のようなイメージで、Epiplexity（we define a new information measure, epiplexity (epistemic complexity), which formally defines the amount of structural information that a computationally-bounded observer can extract from the data. Briefly, epilexity is the information in the model that minimizes the description length of data under computational constraints.）を提案。機械学習を実務適用しているときに言う「情報」に近しい印象。
  • そのものが役に立つかというよりは考え方として非常に面白い内容。

Qwen3-VL-Embedding, Qwen3-VL-Reranker, e5-omni

マルチモーダルな埋め込み手法の論文が発表されている。1つめは Qwen familyでembeddingモデルそのものとrerankerモデル。2つ目は手法の提案でVLMのバックボーンをオムニモーダルに変換していくタイプ。分散表現を得るのもマルチモーダル化が進んでいくのは興味深いところ。

  • Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking [80.5]
    本稿では,Qwen3-VL-EmbeddingとQwen3-VL-Rerankerモデルシリーズを紹介する。 Qwen3-VL-Embeddingモデルでは、意味的にリッチな高次元ベクトルを生成するためのマルチステージトレーニングパラダイムを採用している。 Qwen3-VL-Rerankerはクエリ-ドキュメントペアの詳細な関連性推定を行う。
    論文  参考訳（メタデータ）   (Thu, 08 Jan 2026 08:36:06 GMT)
  • リポジトリはGitHub – QwenLM/Qwen3-VL-Embedding
  • e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings [91.3]
    市販の視覚言語モデルをロバストなオムニモーダル埋め込みモデルに適応させる軽量な明示的アライメントレシピであるe5-omniを提案する。 e5-omniは、類似度尺度を整合させるためにモード対応温度校正と、混乱する負の点に焦点を合わせた制御可能な負のカリキュラムと、クロスモーダル幾何に適合するバッチホワイトニングを組み合わせる。 MMEB-V2とAudioCapsの実験では、強いバイモーダルおよびオムニモーダルベースラインよりも一貫した利得を示した。
    論文  参考訳（メタデータ）   (Wed, 07 Jan 2026 07:39:40 GMT)
  • リポジトリはHaon-Chen/e5-omni-7B · Hugging Face

Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs

  • Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs [43.4]
    本稿では,対称/逆三重項からテキストを生成する合成フレームワークを提案し,GPTスタイルの自己回帰モデルをスクラッチから訓練し,記憶,論理推論,文脈内一般化を評価する。 浅層(2-3層)モデルにおいても,関係性セマンティクスが十分な論理量制御によって出現し,その一般化が安定な中間層信号と一致していることが判明した。
    論文  参考訳（メタデータ）   (Tue, 06 Jan 2026 11:20:38 GMT)
  • AutoregressiveなLMにおいて「単に覚える」から一般化されるまでの状況を分析した非常に興味深い研究。「In our results, we observe a sharp phase transition in which relational semantics emerge with sufficient logic-bearing supervision, even in shallow (2–3 layer) models, and successful generalization aligns with stable intermediate-layer signals. Moreover, order-matched forward/reverse tests indicate that reversal failures are primarily driven by AR order bias rather than deficient inversion semantics」とのこと。

OpenOneRec

  • OpenOneRec Technical Report [99.2]
    OneRecシリーズは、断片化されたレコメンデーションパイプラインをエンドツーエンドの生成フレームワークにうまく統合した。 OneRec Foundation (1.7B と 8B) は、新しい最先端(SOTA)を確立するモデルのファミリであり、RecIF-Benchのすべてのタスクにまたがる結果である。 Amazonベンチマークに移行すると、当社のモデルは10種類のデータセットに対して平均26.8%のRecall@10の改善により、最強のベースラインを越えた。
    論文  参考訳（メタデータ）   (Wed, 31 Dec 2025 10:15:53 GMT)
  • レコメンデーションをE2E化するモデル「To facilitate reproducibility and scalable research, we open-sourced a full-stack training pipeline—including data processing, co-pretraining, and post-training protocols—and validated the scaling laws of recommendation ca- pabilities. Extensive experiments demonstrate that our OpenOneRec-Foundation models achieve state-of-the-art performance across RecIF-Bench and show exceptional transferability to external domains, proving the efficacy of our unified generative paradigm.」とオープンな取り組み。
  • リポジトリはGitHub – Kuaishou-OneRec/OpenOneRec: An Open Foundation Model and Benchmark to Accelerate Generative Recommendation

End-to-End Test-Time Training for Long Context 

  • End-to-End Test-Time Training for Long Context [98.4]
    アーキテクチャ設計よりも継続学習における問題として,長文言語モデリングを定式化する。 我々のモデルは、与えられたコンテキストの次から次までの予測を通じてテスト時に学習を続け、読み込んだコンテキストを重みに圧縮します。 全体として、テストタイムトレーニング(TTT)の一形態であるE2E(End-to-End)は、テスト時(次世代の予測)とトレーニング時(メタラーニング)の両方である。
    論文  参考訳（メタデータ）   (Mon, 29 Dec 2025 18:30:14 GMT)
  • 「our model continues learning at test time via next-token prediction on the given context, compressing the context it reads into its weights. In addition, we improve the model’s initialization for learning at test time via meta-learning at training time. Overall, our method, a form of Test-Time Training (TTT), is End-to-End (E2E) both at test time (via next-token prediction) and training time (via meta-learning), in contrast to previous forms.」というTest-Time Trainingに関する報告
  • リポジトリはGitHub – test-time-training/e2e: Official JAX implementation of End-to-End Test-Time Training for Long Context

mHC: Manifold-Constrained Hyper-Connections

  • mHC: Manifold-Constrained Hyper-Connections [43.9]
    ハイパーコネクション(HC)は、残流幅を拡大し、接続パターンを多様化することで、ユビキタスな残差接続パラダイムを拡張した。 残留接続に固有のアイデンティティマッピング特性を復元するために,manifold-Constrained Hyper-Connection (mHC)を提案する。 mHCは大規模なトレーニングに有効で、具体的なパフォーマンス改善と優れたスケーラビリティを提供する。
    論文  参考訳（メタデータ）   (Wed, 31 Dec 2025 14:16:26 GMT)
  • DeepseekによるHyper-Connectionsからの改善提案。「mHC yields comprehensive improvements, consistently outperforming the baseline and surpassing HC on the majority of tasks. Notably, compared to HC, mHC further enhances the model’s reasoning capabilities, delivering performance gains of 2.1% on BBH (Suzgun et al , 2022) and 2.3% on DROP (Dua et al , 2019).」と効果を確認。27Bと相応の規模で実験をしている点もさすがというところ。
  • MATHについてはHCに僅差ではあるが負けていて理由が気になるところではある。

FineFT: Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading

  • FineFT: Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading [39.8]
    The Efficient and Risk-Aware Ensemble Reinforcement Learning for Futures Trading (FineFT)は、安定したトレーニングと適切なリスク管理を備えた新しいアンサンブルフレームワークである。 ファイナンシャルFTは6つの財務指標において12SOTAベースラインを上回り、リスクを40%以上削減する一方で、ランナーに比べて優れた収益性を実現している。
    論文  参考訳（メタデータ）   (Mon, 29 Dec 2025 11:56:33 GMT)
  • 「This paper proposes FineFT, a novel three-stage ensemble RL ap- proach for handling high stochasticity and risk for unseen markets in futures trading. First, an ETD error is computed to update the learner selectively to improve data efficiency and performance. Then, the ensemble is back-tested on various dynamics modelled by VAEs. Finally, we utilize risk-aware heuristic routing to avoid po- tential loss caused by epistemic uncertainty. Extensive experiments show FineFT’s high profitability and strong risk management.」と凝ったアプローチ。リポジトリが公開されているのがありがたい。
  • リポジトリはGitHub – qinmoelei/FineFT_code_space

金融分野のLLMとしては下記も発表されていた。

  • QianfanHuijin Technical Report: A Novel Multi-Stage Training Paradigm for Finance Industrial LLMs [30.7]
    本稿では、金融分野のLLMであるQianfan Huijinを紹介し、産業モデル強化のための一般化可能な多段階トレーニングパラダイムを提案する。 我々のアプローチは、知識基盤を統合するための財務コーパスの継続事前学習(CPT)から始まります。 金融SFTから始まり、ファイナンス推論RLとファイナンスエージェントRLに進み、ジェネラルRLで終了する。
    論文  参考訳（メタデータ）   (Tue, 30 Dec 2025 16:10:51 GMT)
  • 複数ステージによる金融強化型LLM。クローズモデルのようだが、性能向上幅など参考になる。

Recursive Language Models 

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

  • JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation [108.2]
    本稿では,JAV(Joint Audio-Video)理解と生成のための,最初の統合マルチモーダル言語モデル(MLLM)であるJavisGについて述べる。 JavisG は Encoder-LLM-decoder アーキテクチャを採用し、SyncFusion モジュールを時時空間の大規模なオーディオビデオ融合用に備えている。 JAVPTの理解と生成ベンチマークの実験は、JavisGPTが既存のMLより優れていることを示している。
    論文  参考訳（メタデータ）   (Sun, 28 Dec 2025 12:25:43 GMT)
  • 「JavisGPT adopts an encoder-LLM-decoder architecture (ref. Fig 2), with Qwen2.5 [88] as the LLM backbone. The visual encoder is inherited from Qwen2.5-VL [5], and the audio encoder is based on BEATs [10]. Audio and video features, along with user prompts and learnable JavisQuery tokens, are passed to the LLM. To enable fine-grained spatiotemporal alignment, we propose a dedicated SyncFusion module that fuses audio and video representations into synchronized SyncAV tokens for unified comprehension. At the output stage, the LLM generates textual responses along with JavisCond tokens, which encode contextual semantics and serve as conditioning inputs for a pretrained JAV-DiT generator [40]. We choose JavisDiT for its generation quality and flexibility, and incorporate hierarchical JavisQueries to provide spatiotemporal priors, further enhancing synchronization in audio-video generation.」という設計のマルチモーダルモデル。
  • プロジェクトサイトはJavisGPT

Figure It Out: Improving the Frontier of Reasoning with Active Visual Thinking

  • Figure It Out: Improving the Frontier of Reasoning with Active Visual Thinking [53.8]
    複雑な推論問題は、テキストに明示的にエンコードされていない暗黙の空間的、幾何学的、構造的関係を含むことが多い。 FIGRを導入し、エンドツーエンドの強化学習を通して、アクティブな視覚的思考を多ターン推論に統合する。
    論文  参考訳（メタデータ）   (Tue, 30 Dec 2025 15:39:11 GMT)
  • 「Our core idea is to embed visual construction into a model’s reasoning trajectory. Concretely, for each problem input, FIGR enters a multi-turn reasoning loop in which it can interleave pure textual rea- soning and executable code to generate diagrams – much like a human drawing intermediate sketches while reasoning.」というアプローチによる推論過程での図形データの活用手法の提案。
  • リポジトリはGitHub – chenmeiqii/FIGR: Official implementation of “Figure It Out: Improve the Frontier of Reasoning with Active Visual Thinking”