日: 2025年4月22日

InternVL3, PerceptionLM, BitNet b1.58 2B4T

公開モデルでも興味深いものが発表されている。InternVL3はVision-Languageモデルで有名なInternVLのver 3、オープンなMLLMのSoTA、78Bと大型で商用モデルとも競合する性能を主張。PerceptionLMはMetaによるオープンなVLM（Perception Language Model (PLM) in a fully open and reproducible framework for transparent research in image and video understanding.）。

上記とは雰囲気が異なるBitNet b1.58 2B4TはBitNetの実装・公開モデル。「The core contribution of this work is to demonstrate that a native 1-bit LLM, when trained effectively at scale, can achieve performance comparable to leading open-weight, full-precision models of similar size across a wide range of tasks.」とのこと。

  • BitNet b1.58 2B4T Technical Report [118.8]
    BitNet b1.58 2B4Tは、最初のオープンソースでネイティブな1ビットのLarge Language Model(LLM)を2-billionパラメータスケールで導入する。 4兆トークンのコーパスでトレーニングされたこのモデルは、言語理解、数学的推論、コーディングの習熟度、会話能力に関するベンチマークで厳格に評価されている。
    論文  参考訳（メタデータ）   (Wed, 16 Apr 2025 17:51:43 GMT)
  • リポジトリはGitHub – microsoft/BitNet: Official inference framework for 1-bit LLMs、モデルはmicrosoft/bitnet-b1.58-2B-4T · Hugging Face
  • デモもある（Bitnet）が、特に日本語性能はかなり物足りない。（日本語になっているだけすごいともいえるが・・・）

CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation 

  • CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation [53.5]
    CrossWordBenchは、大きな言語モデル(LLM)とLVLM(Large Vision-Language Models)の推論能力を評価するために設計されたベンチマークである。 評価の結果,LLMの推論は,クロスレター制約を効果的に活用することにより,非推論モデルよりも大幅に優れていることがわかった。 本研究は,現在のLLMとLVLMの推論能力の限界について考察し,今後の評価のために,マルチモーダル制約タスクを作成するための効果的なアプローチを提供する。
    論文  参考訳（メタデータ）   (Sun, 30 Mar 2025 20:03:36 GMT)
  • クロスワードパズルを用いるベンチマーク「CrossWordBench collects data and generates puzzles from three sources: (1) multilingual word-clue pairs from public repositories, (2) dictionary-based definitions, and (3) adapted questions-answer pairs from existing benchmarks (e g , CommonsenseQA (Talmor et al , 2018)) where the answers are open-ended or unconstrained.」という構築方針。結果は「Our extensive evaluation of over 20 models shows that reasoning models substantially outperform non-reasoning counterparts and can benefit from increased crossing-letter constraints.」とLRMは強い
  • リポジトリはGitHub – SeanLeng1/CrossWordBench、HINT-lab/CrossWordBench · Datasets at Hugging Face

Antidistillation Sampling

  • Antidistillation Sampling [98.9]
    拡張推論トレースを生成するモデルは、モデル蒸留を容易にするリッチトークンシーケンスを不注意に生成する。 この脆弱性を認識したモデル所有者は、モデル性能を損なうことなく蒸留の有効性を制限するサンプリング戦略を求めることができる。 抗蒸留サンプリング毒は痕跡を推し進め、モデルの実用性を保ちながら蒸留の効力を著しく低下させた。
    論文  参考訳（メタデータ）   (Thu, 17 Apr 2025 17:54:14 GMT)
  • タイトルの通り蒸留を困難にするサンプリング戦略の提案
  • プロジェクトサイトはAntidistillation Sampling

Tree-based Models for Vertical Federated Learning: A Survey 

  • Tree-based Models for Vertical Federated Learning: A Survey [71.8]
    ツリーベースのモデルは、その有効性、堅牢性、解釈可能性により、幅広い現実世界のアプリケーションで大きな成功を収めている。 木質モデルの違いと進歩を実証的に観察するための一連の実験を行った。
    論文  参考訳（メタデータ）   (Thu, 03 Apr 2025 05:16:09 GMT)
  • Vertical Federated Learning （VFL refers to the setting where parties’ data samples are overlapped but their feature spaces are different and complementary）かつツリーベースな研究に関するサーベイ
  • 実用上は大事なパート