コンテンツへスキップ
- Using AntiPatterns to avoid MLOps Mistakes [14.7]
アンチパターンは、欠陥のあるプラクティスや方法論の情報を提供する。 いくつかのアンチパターンは技術的な誤りによるものであり、他のパターンは周囲の文脈について十分な知識を持っていないためである。 アンチパターンのカタログ化に加えて、ソリューション、ベストプラクティス、MLOpsの成熟に向けた今後の方向性について説明します。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 30 Jun 2021 20:00:52 GMT)- アンチパターンが9つ紹介されている。実用上重要・実務で見かけるものも多いなーと思うとともに、アカデミックな研究で見られるパターンもある。
- 設計に関わるアンチパターン
- Data Leakage: 不適切データの使用、不適切なデータ拡張
- Tuning-under-the-Carpet: ハイパーパラメータの不適切な管理
- 性能評価に関わるアンチパターン
- PEST（Perceived Empirical SuperioriTy）: 実証的な検証が不十分
- Bad Credit Assignment: パフォーマンス向上の理由が不明確
- Grade-Your-own-Exam: モデル開発中の最終テスト用データへのアクセス
- デプロイ・メンテナンスに関わるアンチパターン
- Act Now, Reflect Never: モデルのモニタリングをせずそのまま使い続ける
- Set & Forget: 環境変化（concept driftのようなもの）への対応をしない
- Communicate with Ambivalence: モデルの不確実性（uncertainty）を把握・共有しない
- Data Crisis as a Service: データ抽出や処理の手順を記録・管理しない