タグ: アンチパターン

機械学習・MLOpsに関するアンチパターン

  • Using AntiPatterns to avoid MLOps Mistakes [14.7]
    アンチパターンは、欠陥のあるプラクティスや方法論の情報を提供する。 いくつかのアンチパターンは技術的な誤りによるものであり、他のパターンは周囲の文脈について十分な知識を持っていないためである。 アンチパターンのカタログ化に加えて、ソリューション、ベストプラクティス、MLOpsの成熟に向けた今後の方向性について説明します。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 30 Jun 2021 20:00:52 GMT)
    • アンチパターンが9つ紹介されている。実用上重要・実務で見かけるものも多いなーと思うとともに、アカデミックな研究で見られるパターンもある。
    • 設計に関わるアンチパターン
      • Data Leakage: 不適切データの使用、不適切なデータ拡張
      • Tuning-under-the-Carpet: ハイパーパラメータの不適切な管理
    • 性能評価に関わるアンチパターン
      • PEST（Perceived Empirical SuperioriTy）: 実証的な検証が不十分
      • Bad Credit Assignment: パフォーマンス向上の理由が不明確
      • Grade-Your-own-Exam: モデル開発中の最終テスト用データへのアクセス
    • デプロイ・メンテナンスに関わるアンチパターン
      • Act Now, Reflect Never: モデルのモニタリングをせずそのまま使い続ける
      • Set & Forget: 環境変化（concept driftのようなもの）への対応をしない
      • Communicate with Ambivalence: モデルの不確実性（uncertainty）を把握・共有しない
      • Data Crisis as a Service: データ抽出や処理の手順を記録・管理しない