タグ: MLOps

AIOpsと解釈性

  • Towards a consistent interpretation of AIOps models [24.2]
    内部整合性,外部整合性,時間整合性という,AIOpsモデルの解釈の整合性について検討する。 学習者からのランダム性、ハイパーパラメータチューニング、データサンプリングは、一貫した解釈を生成するために制御されるべきである。 我々の研究は、実践者が一貫したAIOpsモデルの解釈を引き出すための貴重なガイドラインを提供する。
    論文  参考訳（メタデータ）   (Fri, 4 Feb 2022 18:33:14 GMT)
    • AI Opsと解釈性に関する論文、興味深いサーベイ

機械学習における安全性の未解決問題

  • Unsolved Problems in ML Safety [45.8]
    研究の準備ができている4つの問題、すなわち、ハザードを克服し、ハザードを特定し、MLシステムを操り、MLシステムの扱い方に対するリスクを低減する。 それぞれの問題のモチベーションを明確にし、具体的な研究指針を提供する。
    論文  参考訳（メタデータ）   (Tue, 28 Sep 2021 17:59:36 GMT)
    • 機械学習利用時の問題を「Robustness: 敵対攻撃、異常な状況、レアなイベントに対する頑健性」「Monitoring: 悪意のある利用の検知、予測の監視、予期せぬ動きの検出」「Alignment:正しい (人間的な)目的の設定と安全な最適化」「External safety: サイバー攻撃への対策などMLシステム利用時のリスク低減」に分けて整理した論文。Appendix部分を含めてとても良い。

機械学習・MLOpsに関するアンチパターン

  • Using AntiPatterns to avoid MLOps Mistakes [14.7]
    アンチパターンは、欠陥のあるプラクティスや方法論の情報を提供する。 いくつかのアンチパターンは技術的な誤りによるものであり、他のパターンは周囲の文脈について十分な知識を持っていないためである。 アンチパターンのカタログ化に加えて、ソリューション、ベストプラクティス、MLOpsの成熟に向けた今後の方向性について説明します。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 30 Jun 2021 20:00:52 GMT)
    • アンチパターンが9つ紹介されている。実用上重要・実務で見かけるものも多いなーと思うとともに、アカデミックな研究で見られるパターンもある。
    • 設計に関わるアンチパターン
      • Data Leakage: 不適切データの使用、不適切なデータ拡張
      • Tuning-under-the-Carpet: ハイパーパラメータの不適切な管理
    • 性能評価に関わるアンチパターン
      • PEST（Perceived Empirical SuperioriTy）: 実証的な検証が不十分
      • Bad Credit Assignment: パフォーマンス向上の理由が不明確
      • Grade-Your-own-Exam: モデル開発中の最終テスト用データへのアクセス
    • デプロイ・メンテナンスに関わるアンチパターン
      • Act Now, Reflect Never: モデルのモニタリングをせずそのまま使い続ける
      • Set & Forget: 環境変化（concept driftのようなもの）への対応をしない
      • Communicate with Ambivalence: モデルの不確実性（uncertainty）を把握・共有しない
      • Data Crisis as a Service: データ抽出や処理の手順を記録・管理しない