大規模言語モデルのバイアス(CoDaを用いた検証)

機械学習におけるバイアス緩和のサーベイ

  • Bia Mitigation for Machine Learning Classifiers: A Comprehensive Survey [25.3]
    本稿では,機械学習(ML)モデルにおける公平性を実現するためのバイアス緩和手法を包括的に調査する。 ML分類器のバイアス軽減に関する合計234の論文を収集する。 本論文では,既存のバイアス緩和手法について検討する。
    論文  参考訳(メタデータ)   (Thu, 14 Jul 2022 17:16:45 GMT)
    • 機械学習による分類器に対してバイアスを緩和する手法のサーベイ。200以上の論文がサーベイ対象であり、多種多様なアプローチ、手法があることに驚き。

Transfer Learningとバイアス

  • When does Bias Transfer in Transfer Learning? [89.2]
    トランスファーラーニングを使用して、トレーニング済みの”ソースモデル”を下流の”ターゲットタスク”に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
    論文  参考訳(メタデータ)   (Wed, 6 Jul 2022 17:58:07 GMT)
    • バイアスがかかった事前学習モデルをTransfer Learningで利用した場合、データセットにバイアスが無くても、最終的なモデルにバイアスが発生するとの報告。危険性を認識しておく必要がある。
    • リポジトリはGitHub – MadryLab/bias-transfer

NLPにおけるジェンダーバイアスのサーベイ

  • A Survey on Gender Bias in Natural Language Processing [22.9]
    自然言語処理における性別バイアスに関する304論文について調査する。 ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。 性別偏見の研究は、4つの中核的な限界に悩まされている。1)ジェンダーを流動性と連続性を無視した二変数変数として扱う。 2) 単言語で実施されている。 3) 倫理的考察を無視している。 4) 男女差の非常に限定的な定義と, 評価基準とパイプラインの欠如に根本的な欠陥がある。 
    論文  参考訳(メタデータ)   (Tue, 28 Dec 2021 14:54:18 GMT)
    • AIの社会実装において逃げてはいけないジェンダーバイアスに関するサーベイ。4つの問題が指摘されているが、その中でもジェンダー及びジェンダーバイアスの定義ができていないというのは非常に重要な指摘であると思う。