Transformers without Normalization 

  • Transformers without Normalization [58.8]
    トランスフォーマーの正規化レイヤのドロップイン置換として、DyT($x$) = tanh(alpha $x$)$という要素演算式であるDynamic Tanh(DyT)を導入する。 我々は、認識から生成、教師付き学習、教師付き学習、コンピュータビジョンから言語モデルまで、様々な環境において、DyTを用いたトランスフォーマーの有効性を検証する。
    論文  参考訳(メタデータ)   (Thu, 13 Mar 2025 17:59:06 GMT)
  • 「We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(αx), as a drop-in replacement for normalization layers in Transformers.」とのこと。知見として興味深く、「DyT improves training and inference speed, making it a candidate for efficiency-oriented network design.」と計算コスト的にも有利とのこと。

Simulating the Real World: A Unified Survey of Multimodal Generative Models

  • Simulating the Real World: A Unified Survey of Multimodal Generative Models [48.4]
    実世界のシミュレーションにおいて,データ次元の進行を調査する多モード生成モデルについて統一的な調査を行う。 我々の知る限りでは、これは単一のフレームワーク内で2D、ビデオ、3D、および4D生成の研究を体系的に統一する最初の試みである。
    論文  参考訳(メタデータ)   (Thu, 06 Mar 2025 17:31:43 GMT)
  • 生成AIが実世界をシミュレーションにつながるかは議論が分かれるが、「In this survey, we present a unified survey for multimodal generative models that investigate the progression of data dimensionality in real-world simulation.」というサーベイ。
  • 様々な研究は進むもののハードルはかなり高い印象。

You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time 

  • You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time [132.0]
    ディープニューラルネットワークは、様々なバイアス問題に悩まされがちで、高い意思決定のための応用を危うくしている。 推論時間におけるフレキシブルな精度-公正トレードオフを実現するために,You Only Debias Once (YODO)を提案する。 YODOは、モデル精度と公平性の間の柔軟なトレードオフを、超低オーバーヘッドで達成します。
    論文  参考訳(メタデータ)   (Mon, 10 Mar 2025 08:50:55 GMT)
  • 「Instead of pursuing one individual fixed point (fairness-optimum) in the weight space, we aim to find a “line” in the weight space that connects the accuracyoptimum and fairness-optimum points using a single model.」し、推論時にどのポイントを使うか選ぶアプローチのDebias手法の提案。
  • 「After training a model f(x; ω1, ω2, α) with two sets of parameters ω1 and ω2, the prediction procedure for a test sample x is i) Choose the desired trade-off parameter α, which controls the balance between accuracy and fairness, ii) Compute the weighted combination of the two sets of trained weights, (1 − α)ω1 + αω2, to obtain the model parameters for the desired trade-off, iii) Compute the prediction function to the test sample x as f(x; (1 − α)ω1 + αω2), to obtain the predicted output.」というのできちんと動作するのが面白い。
  • リポジトリはGitHub – ahxt/yodo

Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

  • Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [45.7]
    本稿では,大規模言語モデル(LLM)のためのDeepSeek-R1モデルの拡張であるSearch-R1を紹介する。 Search-R1は、リアルタイム検索によるステップバイステップ推論中に(複数の)検索クエリを自律的に生成する。 実験の結果、サーチ-R1は26%(Qwen2.5-7B)、21%(Qwen2.5-3B)、10%(LLaMA3.2-3B)のSOTAベースラインの性能向上を示した。
    論文  参考訳(メタデータ)   (Wed, 12 Mar 2025 16:26:39 GMT)
  • 検索クエリを発行しながら推論を進めるフレームワークの提案「SEARCH-R1, a novel reinforcement learning framework that enables large language models (LLMs) to interleave self-reasoning with real-time search engine interactions.」。
  • リポジトリはGitHub – PeterGriffinJin/Search-R1: Search-R1: An Efficient, Scalable RL Training Framework for Reasoning & Search Engine Calling interleaved LLM based on veRL