コンテンツへスキップ
- On Large Language Models’ Selection Bias in Multi-Choice Questions [117.7]
大規模言語モデル(LLM)の研究において、MCQ(Multi-choice Question)は一般的だが重要なタスク形式として機能する。 我々の研究は、LCMがMCQに固有の「選択バイアス」を示すことを示している。 選択バイアスを軽減するためにPriDeと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (Thu, 7 Sep 2023 17:44:56 GMT)
- 多肢選択問題で回答の位置によりLLMの性能が変わることが知られている（For instance, moving the golden answers to position D degrades the accuracy of gpt-3.5-turbo by 6.3 (from 67.2 to 60.9)）。この報告ではそのバイアスを軽減する手法 PriDe(Debiasing with Prior estimation)を提案している。
- 「It cannot be mitigated via basic prompting strategies (§2.5), such as explicit debiasing instruction (i.e., instructing LLMs to treat each option fairly) and Chain-of-Thought prompting (Wei et al , 2022).」や「We find that removing option IDs can debias LLMs,」というのも面白い。正しくバイアス除去を行うと全体的なパフォーマンスも向上するよう。
- Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of Movie Dialogues [20.2]
映画に登場する社会的偏見やステレオタイプは、リーチによって大きなダメージを与える可能性がある。 同一性バイアスに注釈を付けた映画脚本のデータセットを新たに導入する。 データセットには、(i) バイアスラベルに、性別、人種/民族、宗教、年齢、職業、LGBTQ、その他の7つのカテゴリのダイアログがアノテートされている。
論文 参考訳（メタデータ） (Wed, 1 Jun 2022 05:43:53 GMT)
- Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks [95.3]
本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
論文 参考訳（メタデータ） (Wed, 16 Feb 2022 11:59:29 GMT)- 今後ユーザインタフェースとして普及が予想される対話システムにおいて、社内的バイアスの存在が問題視されている。その検出のためのデータセット（中国版）を作成、ベースラインを提供。
- A Systematic Study of Bias Amplification [16.2]
近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
論文 参考訳（メタデータ） (Thu, 27 Jan 2022 18:04:24 GMT)- 機械学習モデルを用いることでバイアス（偏見）が増幅してしまうのではないか？ということを検証した論文。（解釈は悩ましいが）結果として状況によってはバイアス増幅が起きるとしている。
- 論文でも触れられているが、バイアス増幅を避ける事で他のメトリクスが悪化することはあり、難しい問題。結局は論文の締めの通り「careful design of the entire pipeline from data collection to model deployment」に尽きる。
- Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection [83.4]
より富裕で、教育され、都会のZIPコードにある大きな学校の新聞は、質の高いものとして分類される傾向にある。 フィルタの質測定が,事実性や文学的評価といった他の感性指標と一致しないことを実証する。 高品質なコーパスを特権化することは言語イデオロギーを伴い,言語モデルのためのトレーニングコーパスの構築にはもっと注意が必要である,と我々は主張する。
論文 参考訳（メタデータ） (Wed, 26 Jan 2022 18:46:26 GMT)
- A Survey on Bias in Visual Datasets [17.8]
コンピュータビジョン(CV)は、いくつかのタスクにおいて人間よりも優れた成果を上げている。 CVシステムは、供給されるデータに大きく依存し、そのようなデータ内のバイアスを学習し、増幅することができる。 本研究では,視覚データセットの収集中に異なる種類のバイアスを検出できるチェックリストを提案する。
論文 参考訳（メタデータ） (Fri, 16 Jul 2021 14:16:52 GMT)- 画像を対象にどのようなバイアスがありうるかを調査したサーベイ論文。色々なステップで入りうる多種のバイアスが紹介されており画像に限らず参考になる。24ページのチェックリストは簡潔にまとまっている。どれも重要な問いだと思う。
- Towards Understanding and Mitigating Social Biases in Language Models [107.8]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳（メタデータ） (Thu, 24 Jun 2021 17:52:43 GMT)- 偏見のような社会的バイアスを言語モデルから除去（緩和）する内容を扱った報告。社会的バイアスの定義を含め参考になる。提案手法はテキスト生成でバイアス緩和効果を示しているとのことだが、limitationには性能と公正さに強いトレードオフがあるとも書かれている。
- コード等はhttps://github.com/pliang279/LM_biasにアップロードするとのこと。（現時点では入っていない）
- BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.5]
我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 ファインチューニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 18 Jun 2021 16:09:21 GMT)- バイアス項とタスク固有の分類層のみ、BERTの極一部（0.1%以下）を変更対象としてもベンチマークで十分な性能を出すfine tuningが可能という報告。処理の効率化という点でも重要なものだが、この程度の変更で様々なタスクに対応できるのは直感に反しており非常に興味深い。