Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.4] ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。 既存のNLP研究は個々のテキストの分析に重点を置いている。 編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。 論文参考訳(メタデータ) (Fri, 22 Apr 2022 16:39:38 GMT)
Can language models learn from explanations in context? [21.7] 大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。 論文参考訳(メタデータ) (Tue, 5 Apr 2022 16:33:44 GMT)
Training Compute-Optimal Large Language Models [54.0] 私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る 論文参考訳(メタデータ) (Tue, 29 Mar 2022 13:38:03 GMT)
「Gopher is substantially over-sized and estimate that for the same compute budget a smaller model trained on more data will perform better.」という指摘が興味深く、モデルサイズに比べてデータが足りていない状況が多発していそう。
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.8] 本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。 論文参考訳(メタデータ) (Sun, 13 Feb 2022 19:13:00 GMT)
A Survey on Using Gaze Behaviour for Natural Language Processing [35.8] 本稿では,自然言語処理(NLP)における異なるタスクをテスト時に記録することなく,目視行動を用いて解く方法について論じる。我々は複数の言語で異なる視線追跡コーパスについて言及し、これは現在利用可能であり、自然言語処理で使用することができる。 本稿は、ドメイン — 教育 — における応用と、複雑な単語識別と自動エッセイグレーディングの課題を解決する上で、視線行動の学習がいかに役立つかを議論することによって、論文を締めくくる。 論文参考訳(メタデータ)参考訳(全文) (Mon, 3 Jan 2022 12:58:53 GMT)