コンテンツへスキップ
- Towards Understanding and Mitigating Social Biases in Language Models [107.8]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳（メタデータ） (Thu, 24 Jun 2021 17:52:43 GMT)- 偏見のような社会的バイアスを言語モデルから除去（緩和）する内容を扱った報告。社会的バイアスの定義を含め参考になる。提案手法はテキスト生成でバイアス緩和効果を示しているとのことだが、limitationには性能と公正さに強いトレードオフがあるとも書かれている。
- コード等はhttps://github.com/pliang279/LM_biasにアップロードするとのこと。（現時点では入っていない）
- Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.2]
モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデルを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
論文 参考訳（メタデータ） (Wed, 23 Jun 2021 22:24:14 GMT)- GBST( Gradient-Based Subword Tokenization module)を提案、Transformerに統合してsub word化を行わず優れた性能を出したという報告。スピードも速い。
- 英語のタスクでは以前紹介したByT5と比べても優れており、マルチリンガルな設定では性能は同等で高速とのこと。後者で性能差が縮まるという結果も興味深い。
- VOLO: Vision Outlooker for Visual Recognition [148.1]
視覚変換器 (ViTs) は ImageNet 分類法において自己注意型モデルの優れたポテンタイアを示す。 本研究では,パフォーマンスギャップを解消し,注意に基づくモデルがCNNよりも優れていることを示す。
論文 参考訳（メタデータ） (Thu, 24 Jun 2021 15:46:54 GMT) - outlook attentionという構造を取り入れたVOLOという構造を提案、Extra Training Data無しの条件下でImageNet画像分類のSOTAとのこと。
- コードなどはhttps://github.com/sail-sg/voloから確認可能