タグ: BERT

MWP(Math word problem)とBERT

  • MWP-BERT: A Strong Baseline for Math Word Problems [47.5]
    数学語問題( Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。 近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。 我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
    論文  参考訳（メタデータ）   (Wed, 28 Jul 2021 15:28:41 GMT)
    • 事前学習言語モデルを用いたMWP（テキストの記述を方程式に変換するタスク）に関する報告。Math23Kで6%と大幅な改善を達成とのこと。

BitFit(Bias-terms Fine-tuning ): BERTのごく一部のfine tuning

  • BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.5]
    我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 ファインチューニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
    論文  参考訳（メタデータ）  参考訳（全文）  (Fri, 18 Jun 2021 16:09:21 GMT)
    • バイアス項とタスク固有の分類層のみ、BERTの極一部（0.1%以下）を変更対象としてもベンチマークで十分な性能を出すfine tuningが可能という報告。処理の効率化という点でも重要なものだが、この程度の変更で様々なタスクに対応できるのは直感に反しており非常に興味深い。