コンテンツへスキップ
- Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.8]
我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 20 Jun 2022 13:04:23 GMT)- NLPの研究の多くが精度、多言語性、公平性・解釈可能性の1軸に焦点を当てており、このような形式をSQUARE ONEと呼びそこから生まれるバイアスをSQUARE ONE BIASと呼んでいる。論文中のACL2021の分析結果も興味深いが、感覚的にも2軸以上を扱う論文はレアだと思う。
- 先端研究の場合、競争激化もあって多様な軸で比較するのはしんどいんだろうと思わなくはないが、実務的には多様な評価は普通に行われる（やらないと怖くて使えない）わけで実務的な報告が増えて欲しいと思う今日この頃。
- プロジェクトサイトはGitHub – google-research/url-nlp
- Phrase-level Textual Adversarial Attack with Label Preservation [34.4]
本稿では,フレーズレベルの摂動を通じて対数サンプルを生成するPhrase-Level Textual Adrial aTtack (PLAT)を提案する。 PLATは強力なベースラインよりも攻撃効率が優れ、ラベルの一貫性も優れている。
論文 参考訳（メタデータ） (Sun, 22 May 2022 02:22:38 GMT)
- EASE: Entity-Aware Contrastive Learning of Sentence Embedding [37.7]
EASEは文とその関連エンティティ間の対照的な学習を通して文の埋め込みを学習する新しい方法である。 EASEは英語のセマンティックテキスト類似性(STS)と短いテキストクラスタリング(STC)タスクにおいて、競合的あるいはより良いパフォーマンスを示す。
論文 参考訳（メタデータ） (Mon, 9 May 2022 13:22:44 GMT)
- EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing [38.9]
EasyNLPは、NLPアプリケーションを簡単に構築できるように設計されている。 知識に富んだ事前訓練、知識蒸留、数発の学習が特徴である。 EasyNLPはAlibaba Group内の10以上のビジネスユニットに電力を供給している。
論文 参考訳（メタデータ） (Sat, 30 Apr 2022 13:03:53 GMT)
- DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.3]
DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (Thu, 21 Apr 2022 17:32:01 GMT)
- Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.4]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。 既存のNLP研究は個々のテキストの分析に重点を置いている。 編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (Fri, 22 Apr 2022 16:39:38 GMT)- ピアレビューを対象にtagging、linking、version alignmentを整理、タスク化・データセットを作成との報告。何かのユースケースを自然言語処理でどう取り扱うかを知る上でもとても参考になる。
- リポジトリはGitHub – UKPLab/f1000rd
- Can language models learn from explanations in context? [21.7]
大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。
論文 参考訳（メタデータ） (Tue, 5 Apr 2022 16:33:44 GMT)- few-shot設定で例示される内容に説明を付与すると性能を向上可能という論文。大規模モデルにおいて効果的とのこと。近年の大規模モデルが例と説明の何らかの対応付けができる規模になっているのだとすると面白い。
- Training Compute-Optimal Large Language Models [54.0]
私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
論文 参考訳（メタデータ） (Tue, 29 Mar 2022 13:38:03 GMT)- 同じ計算予算で最適なパラメータ量や学習データ量を求める手法を用いて70BパラメータのChincillaを作成、Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), Megatron-Turing NLG (530B)といった他の巨大モデルを上回る結果を達成。
- 「Gopher is substantially over-sized and estimate that for the same compute budget a smaller model trained on more data will perform better.」という指摘が興味深く、モデルサイズに比べてデータが足りていない状況が多発していそう。
- Designing Effective Sparse Expert Models [45.2]
MoE(Mixture-of-Experts)とSwitch Transformerは、より大きく、より有能な言語モデルへのエネルギー効率の高い経路として提案されている。 しかし、さまざまな自然言語タスクの最先端化は、微調整中にトレーニングの不安定さと不確実な品質によって妨げられている。 私たちの仕事はこれらの問題に焦点を当て、デザインガイドとして機能し、推論(SuperGLUE, ARC Easy, ARC Challenge)、要約(XSum, CNN-DM)、クローズドブック質問応答(WebQA, Natural Questions)、敵対的に構築されたタスク(Winogrande, ANLI R3)など、さまざまなタスクの集合において、トランスファーラーニングにおける最先端のパフォーマンスを初めて達成する。
論文 参考訳（メタデータ） (Thu, 17 Feb 2022 21:39:10 GMT)
- Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.8]
本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
論文 参考訳（メタデータ） (Sun, 13 Feb 2022 19:13:00 GMT)- SST-2、QNLI、MRPC、RACE、SQuAD 1.1、SQuAD 2.0、BoolQ、CoLA 、MNLIに対してパラメータ数と性能の関係を調査、Scaling Lawsは大規模化した際のパフォーマンス予測に有用では？との結論
- ネットワークアーキテクチャやデータにもよるんじゃないかとも思いつつ、実験結果は興味深い