タグ: NLP

EASE(Entity-Aware contrastive learning of Sentence Embeddings)

  • EASE: Entity-Aware Contrastive Learning of Sentence Embedding [37.7]
    EASEは文とその関連エンティティ間の対照的な学習を通して文の埋め込みを学習する新しい方法である。 EASEは英語のセマンティックテキスト類似性(STS)と短いテキストクラスタリング(STC)タスクにおいて、競合的あるいはより良いパフォーマンスを示す。
    論文  参考訳（メタデータ）   (Mon, 9 May 2022 13:22:44 GMT)
    • エンティティ情報を活用した文の分散表現化。マルチリンガル設定を含むSTC/STSで優れた性能を達成とのこと。
    • リポジトリはGitHub – studio-ousia/ease

EasyNLP：AlibabaのNLPツールキット

  • EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing [38.9]
    EasyNLPは、NLPアプリケーションを簡単に構築できるように設計されている。 知識に富んだ事前訓練、知識蒸留、数発の学習が特徴である。 EasyNLPはAlibaba Group内の10以上のビジネスユニットに電力を供給している。
    論文  参考訳（メタデータ）   (Sat, 30 Apr 2022 13:03:53 GMT)

DiffCSE

テキストベースの共同作業とNLP

  • Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.4]
    ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。 既存のNLP研究は個々のテキストの分析に重点を置いている。 編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
    論文  参考訳（メタデータ）   (Fri, 22 Apr 2022 16:39:38 GMT)
    • ピアレビューを対象にtagging、linking、version alignmentを整理、タスク化・データセットを作成との報告。何かのユースケースを自然言語処理でどう取り扱うかを知る上でもとても参考になる。
    • リポジトリはGitHub – UKPLab/f1000rd

言語モデルは説明文から学べるか？

  • Can language models learn from explanations in context? [21.7]
    大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。
    論文  参考訳（メタデータ）   (Tue, 5 Apr 2022 16:33:44 GMT)
    • few-shot設定で例示される内容に説明を付与すると性能を向上可能という論文。大規模モデルにおいて効果的とのこと。近年の大規模モデルが例と説明の何らかの対応付けができる規模になっているのだとすると面白い。

Chinchilla: 予算内で最適な巨大言語モデル

  • Training Compute-Optimal Large Language Models [54.0]
    私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
    論文  参考訳（メタデータ）   (Tue, 29 Mar 2022 13:38:03 GMT)
    • 同じ計算予算で最適なパラメータ量や学習データ量を求める手法を用いて70BパラメータのChincillaを作成、Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), Megatron-Turing NLG (530B)といった他の巨大モデルを上回る結果を達成。
    • 「Gopher is substantially over-sized and estimate that for the same compute budget a smaller model trained on more data will perform better.」という指摘が興味深く、モデルサイズに比べてデータが足りていない状況が多発していそう。

Sparse Expert Modelの効率的設計

  • Designing Effective Sparse Expert Models [45.2]
    MoE(Mixture-of-Experts)とSwitch Transformerは、より大きく、より有能な言語モデルへのエネルギー効率の高い経路として提案されている。 しかし、さまざまな自然言語タスクの最先端化は、微調整中にトレーニングの不安定さと不確実な品質によって妨げられている。 私たちの仕事はこれらの問題に焦点を当て、デザインガイドとして機能し、推論(SuperGLUE, ARC Easy, ARC Challenge)、要約(XSum, CNN-DM)、クローズドブック質問応答(WebQA, Natural Questions)、敵対的に構築されたタスク(Winogrande, ANLI R3)など、さまざまなタスクの集合において、トランスファーラーニングにおける最先端のパフォーマンスを初めて達成する。
    論文  参考訳（メタデータ）   (Thu, 17 Feb 2022 21:39:10 GMT)

NLPデータセットに対するScaling Law

  • Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.8]
    本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
    論文  参考訳（メタデータ）   (Sun, 13 Feb 2022 19:13:00 GMT)
    • SST-2、QNLI、MRPC、RACE、SQuAD 1.1、SQuAD 2.0、BoolQ、CoLA 、MNLIに対してパラメータ数と性能の関係を調査、Scaling Lawsは大規模化した際のパフォーマンス予測に有用では？との結論
      • ネットワークアーキテクチャやデータにもよるんじゃないかとも思いつつ、実験結果は興味深い

TaxoCom: トピック分類

  • TaxoCom: Topic Taxonomy Completion with Hierarchical Discovery of Novel Topic Clusters [57.6]
    我々はTaxoComというトピック分類の完成のための新しい枠組みを提案する。 TaxoComは、用語と文書の新たなサブトピッククラスタを発見する。 (i)局所的判別的埋め込みは、既知の(すなわち与えられた)サブトピック間で識別可能なテキスト埋め込み空間を最適化し、 (ii)新規適応クラスタリングは、既知のサブトピックまたは新しいサブトピックのいずれかに用語を割り当てる。 2つの実世界のデータセットに関する総合的な実験により、TaxoComは、用語の一貫性とトピックカバレッジの観点から高品質なトピック分類を生成するだけでなく、下流タスクにおける他のすべてのベースラインよりも優れています。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 19 Jan 2022 20:02:10 GMT)
    • ユーザから与えられたトピック情報を不完全と仮定し、新規のトピックを見つける事が可能なTopic Taxonomy手法の提案。人間の評価により優れた出力であることを確認したとのこと。

視線情報を併用したNLPのサーベイ

  • A Survey on Using Gaze Behaviour for Natural Language Processing [35.8]
    本稿では,自然言語処理(NLP)における異なるタスクをテスト時に記録することなく,目視行動を用いて解く方法について論じる。我々は複数の言語で異なる視線追跡コーパスについて言及し、これは現在利用可能であり、自然言語処理で使用することができる。 本稿は、ドメイン — 教育 — における応用と、複雑な単語識別と自動エッセイグレーディングの課題を解決する上で、視線行動の学習がいかに役立つかを議論することによって、論文を締めくくる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 3 Jan 2022 12:58:53 GMT)