日: 2022年7月20日

不公平なモデルをエビデンス付きで指摘するタスク:Revealing Unfair Models by mining Interpretable Evidence (RUMIE)

  • Revealing Unfair Models by Mining Interpretable Evidence [50.5]
    機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
    論文  参考訳（メタデータ）   (Tue, 12 Jul 2022 20:03:08 GMT)
    • 不公平さをエビデンス付きで明らかにするタスク・手法の提案
    • 社会実装のために重要な技術であると思う

言語モデルのリサイクル

  • Embedding Recycling for Language Models [38.1]
    我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55～86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 11 Jul 2022 16:36:14 GMT)
    • layerを凍結させるのではなく、出力をキャッシュして学習等を高速化する仕組みの提案。（当然ながら）最初にデータすべてのrepresantaionを計算する必要がある。
    • リポジトリはGitHub – allenai/EmbeddingRecycling