EVA-02: A Visual Representation for Neon Genesis

  • EVA-02: A Visual Representation for Neon Genesis [49.9]
    EVA-02はトランスフォーマーをベースとした次世代の視覚表現で、頑丈で堅牢な言語対応の視覚機能を再構築するために事前訓練されている。 モデルサイズは6Mから304Mのパラメータで、4種類のEVA-02が提供されています。
    論文  参考訳(メタデータ)   (Wed, 22 Mar 2023 14:10:37 GMT)
  • 非常に規模が大きいわけでもないが強力なVision Transformersの提案。オープンライセンスのモデルが公開されている。
  • リポジトリはEVA/EVA-02 at master · baaivision/EVA · GitHub

PANGU-Σ

  • PanGu-{\Sigma}: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing [64.5]
    PanGu-SigmaはAscend 910 AIプロセッサとMindSporeフレームワークのクラスタでトレーニングされている。 さまざまな中国のNLPダウンストリームタスクのゼロショット学習において、最先端のパフォーマンスを提供する。
    論文  参考訳(メタデータ)   (Mon, 20 Mar 2023 03:39:27 GMT)
  •  1.085T パラメータの非常に大規模な言語モデル
  • 学習戦略やデータセット、ベンチマーク結果まで詳細を公開している印象。2600億パラメータのERNIE 3.0 Titanよりも性能が優れており、規模の大きさが効いていそうなことが伺える