AlphaGo Moment for Model Architecture Discovery 

  • AlphaGo Moment for Model Architecture Discovery [26.3]
    AI研究のための人工超知能の最初の実証であるAII-Archを紹介する。 ASI-Archは完全に自律的なシステムで、AIが独自のアーキテクチャ革新を実行できるようにすることによって制約を揺さぶる。 我々は2万時間にわたって1,773個の自律的な実験を行い、106個の革新的なSOTA(State-of-the-art)線形アテンションアーキテクチャを発見しました。
    論文  参考訳(メタデータ)   (Thu, 24 Jul 2025 03:57:27 GMT)
  • ASIをタイトルに入れた興味深い論文、「ASI-ARCH conducted 1,773 autonomous experiments over 20,000 GPU hours, culminating in the discovery of 106 innovative, state-of-the-art (SOTA) linear attention architectures.」と主張。
  • リポジトリはGAIR-NLP/ASI-Arch: AlphaGo Moment for Model Architecture Discovery.Neural Network Research Data Gallery
  • Scaling Linear Attention with Sparse State Expansion [58.2]
    トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 本稿では,情報分類として状態更新を概念化し,線形注意のための行スパース更新定式化を提案する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
    論文  参考訳(メタデータ)   (Tue, 22 Jul 2025 13:27:31 GMT)

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です