コンテンツへスキップ
- Did the Model Change? Efficiently Assessing Machine Learning API Shifts [24.3]
機械学習(ML)予測APIはますます広く使われている。 モデル更新や再トレーニングのために、時間とともに変更することも可能だ。 MLモデルがどのように変更されたかは、ユーザにとって明確ではないことが多い。MASAは、ランダムサンプリングよりも90%少ないサンプルを用いて、商用ML APIの混同行列シフトを正確に推定することができる。
論文 参考訳（メタデータ） (Thu, 29 Jul 2021 17:41:53 GMT)- 「さまざまなデータセット上で、Google、Microsoft、Amazonなどから人気のML APIの2020年から2021年までのパフォーマンスシフトを定量化します。 調査対象36例中12例に有意なモデルシフトを認めた。 興味深いことに、APIの予測が時間とともに大幅に悪化するいくつかのデータセットを見つけました。」とのこと。API利用時のテストは初期には実施することが多いと思うが、その後のAPI更新時にも「性能がアップするだけ」と単純に考えてはいけないよう。継続的な検証のためには大事な技術である。