- TorchScale: Transformers at Scale [109.3]
スケーリングに関するほとんどのオープンソースライブラリは、並列化の改善によるトレーニングや推論の改善に重点を置いている。 私たちは、研究者や開発者がTransformerを効率的にスケールアップできるオープンソースツールキットであるTorchScaleを紹介します。
論文 参考訳（メタデータ） (Wed, 23 Nov 2022 17:58:51 GMT) - Transformerを効率的にスケールアップするツール
- リポジトリはmicrosoft/torchscale: Transformers at any scale (github.com)
日: 2022年11月30日
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
- Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback [16.3]
人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
論文 参考訳（メタデータ） (Mon, 21 Nov 2022 16:00:31 GMT) - DeepMindによる全部入り強化学習のような論文。 “Inter-temporal Bradley-Terry” (IBT) modellingにより人間の判断をキャプチャする報酬モデルを構築できたとのこと。
- 時間的な軌跡を考慮している点が特徴なのだろうか？
- ビデオが公開されているImproving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback – YouTube
Never-Ending VIsual-classification Stream (Nevis’22)
- NEVIS’22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.5]
我々は100以上の視覚的分類タスクのストリームからなるベンチマークであるNever Ending VIsual-classification Stream (NEVIS’22)を紹介する。 分類に制限されているにもかかわらず,OCRからテクスチャ分析,群集数,シーン認識など,様々なタスクが生み出されている。 NEVIS’22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (Tue, 15 Nov 2022 18:57:46 GMT) - 画像系ベンチマークを収集したもので106タスクからなるとのこと。AutoMLのターゲットになるのかなーと思う。
- リポジトリはdeepmind/dm_nevis: NEVIS’22: Benchmarking the next generation of never-ending learners (github.com)、Benchmarking the next generation of never-ending learners (deepmind.com)にBlogの記事がある。