- Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge [47.7]
CHAICは、インボディードエージェントの社会的知覚と協力をテストするために設計された包括的インボディード・ソーシャル・インテリジェンス・チャレンジである。 CHAICの目標は、身体的制約の下で活動している可能性がある人間を支援するために、自我中心の観察装置を備えたエンボディエージェントである。
論文 参考訳（メタデータ） (Mon, 04 Nov 2024 04:41:12 GMT) - 「In CHAIC, the goal is for an embodied agent equipped with egocentric observations to assist a human who may be operating under physical constraints—e g , unable to reach high places or confined to a wheelchair—in performing common household or outdoor tasks as efficiently as possible.」というタスク・ベンチマークの提案。このようなチャレンジが現実的になってきたことにAIの急速な進化を感じる。
- リポジトリはGitHub – UMass-Foundation-Model/CHAIC: [NeurIPS D&B Track 2024] Source code for the paper “Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge”
日: 2024年11月19日
On the Surprising Effectiveness of Attention Transfer for Vision Transformers
- On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.8]
従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。 予備学習で学んだ特徴や表現は必須ではない。
論文 参考訳（メタデータ） (Thu, 14 Nov 2024 18:59:40 GMT) - 「Surprisingly, using only the attention patterns from pre-training (i.e., guiding how information flows between tokens) is sufficient for models to learn high quality features from scratch and achieve comparable downstream performance.」というほんまかいなという報告。「Our key finding is that the attention patterns (inter-token operations) are the key factor behind much of the effectiveness of pre-training – our Attention Distillation method completely matches fine-tuning on ImageNet-1K.」という結果とのことで面白い。
- リポジトリはalexlioralexli/attention-transfer · GitHub（現状ではコードはアップロードされていない）