- TorchScale: Transformers at Scale [109.3]
スケーリングに関するほとんどのオープンソースライブラリは、並列化の改善によるトレーニングや推論の改善に重点を置いている。 私たちは、研究者や開発者がTransformerを効率的にスケールアップできるオープンソースツールキットであるTorchScaleを紹介します。
論文 参考訳（メタデータ） (Wed, 23 Nov 2022 17:58:51 GMT) - Transformerを効率的にスケールアップするツール
- リポジトリはmicrosoft/torchscale: Transformers at any scale (github.com)