- WizardLM: Empowering Large Language Models to Follow Complex Instructions [67.4]
ヒトの代わりに大規模言語モデルを用いて、様々なレベルの複雑さを持つ大量の命令データを作成する方法を示す。 我々は提案したEvol-Instructを使って、より複雑な命令と微調整のLLaMAを段階的に書き直す。 複雑性バランステストベッド上での人間評価は、Evol-Instructからの指示が人間が作ったものよりも優れていることを示している。
論文 参考訳（メタデータ） (Mon, 24 Apr 2023 16:31:06 GMT) - 現実問題として規約的にできない場合はあるが、LLMを用いた instruction dataの作成。様々な複雑さのデータを作れるのが特徴とのこと。作成したデータ＋LLaMAで作ったモデルはAlpaca、Vicunaより優れているように見えるがChatGPTには及んでいなさそう。
- リポジトリはGitHub – nlpxucan/WizardLM: WizardLM: Empowering Large Pre-Trained Language Models to Follow Complex Instructions
日: 2023年5月3日
バイアス修正
同日に公平性関連の論文が出ており非常に参考になった。社会実装上とても大事。
- FLAC: Fairness-Aware Representation Learning by Suppressing Attribute-Class Associations [11.2]
本研究は,属性ラベルを使わずに,モデルが抽出した特徴と保護属性との間の相互情報を最小化する手法を導入する。 理論上、保護された属性とは無関係な公正な表現につながることが示されている。
論文 参考訳（メタデータ） (Thu, 27 Apr 2023 15:10:46 GMT) - リポジトリはGitHub – gsarridis/FLAC: Fairness-Aware Representation Learning by Suppressing Attribute-Class Associations
- FairBalance: How to Achieve Equalized Odds With Data Pre-processing [33.0]
本研究は、機械学習ソフトウェアにおける等化オッズフェアネスを達成するための、単純で効果的な前処理アプローチを提供することにより、ソフトウェア工学社会の利益を目指している。 学習データに計算重みを割り当てることで,各階層群のクラス分布のバランスをとる前処理アルゴリズムであるFairBalanceを提案する。
論文 参考訳（メタデータ） (Wed, 26 Apr 2023 13:48:17 GMT) - Equalized Oddsを達成するための前処理手法の提案
- 性能を完全に維持できているわけではないが優秀そうな方法
- リポジトリはGitHub – hil-se/FairBalance