- Editing Models with Task Arithmetic [70.0]
事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
論文 参考訳（メタデータ） (Thu, 8 Dec 2022 05:50:53 GMT) - タスクを表すベクトルを作る・使うまでは理解できるとして、演算ができるって本当か？という研究。とても興味深い。
- リポジトリはmlfoundations/task_vectors (github.com)