コンテンツへスキップ
- Perceiver IO: A General Architecture for Structured Inputs & Outputs [84.6]
Perceiver IOは、任意のサイズとセマンティクスの出力を生成するために、モデルの潜在空間を柔軟にクエリすることを学ぶ。 このモデルは、高度に構造化された出力空間を持つタスクに対して強い結果を得る。 Perceiver IOは、GLUE言語ベンチマークでTransformerベースのBERTベースラインにマッチする。
論文 参考訳（メタデータ） (Mon, 2 Aug 2021 17:18:43 GMT)- 入力サイズと出力サイズの両方で線形にスケーリングしながら,汎用的な入出力を処理できるアーキテクチャであるPerceiver IOを提案。様々なタスク（自然言語処理、Optical Flow、Multimodal autoencoding、強化学習（StarCraft /AlphaStar））で優れた性能を達成したとのこと。
- Perceiverの提案はPerceiver: General Perception with Iterative Attention、Transformerを基盤とした構成だが大きな入力・より深いネットワークを構成可能とのことで今後流行るかもしれない。