コンテンツへスキップ
- A Generalist Agent [89.9]
Gatoはマルチモーダル、マルチタスク、マルチエンボディメントのジェネリストポリシーである。 同じ重さのネットワークでも、Atariやキャプション画像、チャット、本物のロボットアームのスタックブロックなどをプレイできる。
論文 参考訳（メタデータ） (Thu, 12 May 2022 16:03:26 GMT)- DeepMindから発表された汎用的にタスクを解けるモデル。テキストだけでなく画像や関節のトルクといったデータもシーケンスとして扱って大規模言語モデルっぽい処理を行っている。
- 「 Transformer sequence models are effective as multi-task multi-embodiment policies, including for real-world text, vision and robotics tasks.」ということで改めてTransformerの強力さが分かる。
- MT-GBM: A Multi-Task Gradient Boosting Machine with Shared Decision Trees [15.6]
マルチタスク学習のためのGBDT方式であるマルチタスク・グラディエント・ブースティング・マシン(MT-GBM)を提案する。 MT-GBMがメインタスクの性能を大幅に向上することを示す実験を行った。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 17 Jan 2022 06:43:14 GMT)
- ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning [56.5]
本稿では,多様なドメインやタスクファミリにまたがる107個の教師付きNLPタスクの大規模なコレクションであるExMixを紹介する。 ExMixを用いて,これまでで最大規模のマルチタスク事前学習の効果を調べた。 本稿では,ExMix の自己教師型スパンのマルチタスク目標を用いた事前学習モデル ExT5 を提案する。
論文 参考訳（メタデータ） (Mon, 22 Nov 2021 02:34:46 GMT)- C4と107個のNLPタスク（ExMix）を用いて構築したT5アーキテクチャの事前学習モデルExT5の提案。事前学習のおけるマルチタスクは下流タスクの性能向上に効果がある場合があり、ExT5はT5に比べ優れているとのこと。
- SuperGLUEはSoTAに見えるがどうなんだろう？
- AutoMTL: A Programming Framework for Automated Multi-Task Learning [23.4]
マルチタスク学習(MTL)は、一連のタスクを共同で学習する。 MTLの普及を妨げている大きな障壁は、コンパクトなマルチタスクモデルを開発するための体系的なサポートの欠如である。 MTLモデル開発を自動化する最初のプログラミングフレームワークであるAutoMTLを開発した。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 25 Oct 2021 16:13:39 GMT)