Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI [39.0] 大規模言語モデル(LLM)クエリは、主に集中型クラウドインフラストラクチャのフロンティアモデルによって処理される。 小さなLMは、多くのタスクにおけるフロンティアモデルに対する競合的なパフォーマンスを実現しています。 集中インフラからの需要の再分配によるローカル推論は可能か? 本稿では,局所的推論の能力と効率を評価する指標として,1ワット当たりのインテリジェンス(IPW)を提案する。 論文参考訳（メタデータ） (Wed, 12 Nov 2025 01:26:20 GMT)
「Intelligence per Watt」という指標の提案。「we show that intelligence per watt has improved 5.3× from 2023-2025 through compounding advances in both model architectures (3.1×) and hardware accelerators (1.7×), with locally-serviceable query coverage increasing from 23.2% to 71.3%.」とのこと。感覚的にも納得感のある結果。