コンテンツへスキップ
- AlphaGo Moment for Model Architecture Discovery [26.3]
AI研究のための人工超知能の最初の実証であるAII-Archを紹介する。 ASI-Archは完全に自律的なシステムで、AIが独自のアーキテクチャ革新を実行できるようにすることによって制約を揺さぶる。 我々は2万時間にわたって1,773個の自律的な実験を行い、106個の革新的なSOTA(State-of-the-art)線形アテンションアーキテクチャを発見しました。
論文 参考訳（メタデータ） (Thu, 24 Jul 2025 03:57:27 GMT)
- ASIをタイトルに入れた興味深い論文、「ASI-ARCH conducted 1,773 autonomous experiments over 20,000 GPU hours, culminating in the discovery of 106 innovative, state-of-the-art (SOTA) linear attention architectures.」と主張。
- リポジトリはGAIR-NLP/ASI-Arch: AlphaGo Moment for Model Architecture Discovery.、Neural Network Research Data Gallery
- Scaling Linear Attention with Sparse State Expansion [58.2]
トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 本稿では,情報分類として状態更新を概念化し,線形注意のための行スパース更新定式化を提案する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
論文 参考訳（メタデータ） (Tue, 22 Jul 2025 13:27:31 GMT)
- Modeling Open-World Cognition as On-Demand Synthesis of Probabilistic Models [90.7]
我々は、人々が分散表現と象徴表現の組み合わせを使って、新しい状況に合わせた見知らぬ精神モデルを構築するという仮説を探求する。 モデル合成アーキテクチャ」という概念の計算的実装を提案する。 我々は、新しい推論データセットに基づく人間の判断のモデルとして、MSAを評価した。
論文 参考訳（メタデータ） (Wed, 16 Jul 2025 18:01:03 GMT)
- 人間が内心的に作っているモデルを再現しようとする試み。
- 「We implement an MSA using LMs to parameterize global relevance functions and Probabilistic Programs to construct arbitrary probabilistic models.」として試行「we find that human reasoning is well-captured by our Model Synthesis Architecture, which provides a better match to human judgments than LM-only baselines and model ablations.」とのこと。
- MSA: Model Synthesis Architecture
- An Approach to Technical AGI Safety and Security [72.8]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。 これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (Wed, 02 Apr 2025 15:59:31 GMT)
- Google DeepmindによるAGI Safetyに関する論文。非常に興味深い内容であり、また、「Timelines: We are highly uncertain about the timelines until powerful AI systems are developed, but crucially, we find it plausible that they will be developed by 2030.」、「Importantly, AI progress does not usually involve large discontinuous jumps in capability assuming continuous increases in inputs (Section 3.5), though the overall pace of progress may accelerate (Section 3.4).」など所々に刺激的な記載がある。
- Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path? [37.1]
未確認のAI機関は、公共の安全とセキュリティに重大なリスクをもたらす。 これらのリスクが現在のAIトレーニング方法からどのように生じるかについて議論する。 我々は,非エージェント型AIシステムの開発をさらに進めるために,コアビルディングブロックを提案する。
論文 参考訳（メタデータ） (Mon, 24 Feb 2025 18:14:15 GMT)
- 「As we implement agentic AI systems, we should ask ourselves whether and how these less desirable traits will also arise in the artificial setting, especially in the case of anticipated future AI systems with intelligence comparable to humans (often called AGI, for artificial general intelligence) or superior to humans (ASI, for artificial superintelligence).」というASI,AGI＋Agenticな状況でとるべき対応についての論文。Yoshua BengioがLead author
- How Far Are We From AGI [15.7]
人工知能(AI)の進化は、人間社会に大きな影響を与え、複数の分野において大きな進歩をもたらした。 しかし、AIに対する増大する要求は、AIの現在の提供の限界を強調し、人工知能(AGI)への動きを触媒している。 AGIは、人間の知能に匹敵する効率と有効性で、さまざまな現実世界のタスクを実行する能力で特徴付けられ、AI進化における最重要マイルストーンを反映している。 本稿では,AGIに近接する重要な課題と,その実現に必要な戦略について,広範な調査,議論,オリジナル視点を通じて考察する。
論文 参考訳（メタデータ） (Thu, 16 May 2024 17:59:02 GMT)
- AGIまでの道のりへの広範なサーベイ、調査対象の論文がGitHub – ulab-uiuc/AGI-surveyに整理されておりそれぞれの構成要素の現状を振り返るうえでも参考になる。
- WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.5]
我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 27 Oct 2021 12:25:21 GMT)- 極めて大規模な画像/テキストの事前学習モデル。CLIPとの比較が興味深く、性能はCLIPを超えるとのこと。
- 「Overall, we believe that pre-training a large-scale multimodal foundation model is indeed a potential approach to achieving AGI.」や「Overall, these findings indicate that pre-training a multimodal (visual and textual) foundation model can make a giant stride towards AGI.」などAGIを意識した記載が多くこれも面白い。この研究の先にAGIが見えているんだろうか？