Tuning Language Models by Proxy [117.1] プロキシチューニングは、ブラックボックスLM上で動作する軽量な復号時間アルゴリズムである。 我々の研究は、小さく調整されたLMを使用して、大規模で潜在的にプロプライエタリなLMを効率的にカスタマイズする可能性を実証している。 論文参考訳（メタデータ） (Tue, 16 Jan 2024 18:49:55 GMT)
（チューニングした）小規模LMを用いて大規模LMのチューニングを行えるという報告。untunedなモデルとtunedなモデルの差を見るアプローチ。「when we apply proxy-tuning to LLAMA2-70B using proxies of only 7B size, we can close 88% of the gap between LLAMA2-70B and its truly-tuned CHAT version」とのこと。
「proxy-tuning addresses an important issue about how to efficiently adapt proprietary models to diverse use cases.」とある通りビジネスでのユースケースは多そう。