事前学習した言語モデルからの社会的バイアス軽減

  • Towards Understanding and Mitigating Social Biases in Language Models [107.8]
    大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
    論文  参考訳(メタデータ)   (Thu, 24 Jun 2021 17:52:43 GMT)
    • 偏見のような社会的バイアスを言語モデルから除去(緩和)する内容を扱った報告。社会的バイアスの定義を含め参考になる。提案手法はテキスト生成でバイアス緩和効果を示しているとのことだが、limitationには性能と公正さに強いトレードオフがあるとも書かれている。
    • コード等はhttps://github.com/pliang279/LM_biasにアップロードするとのこと。(現時点では入っていない)