コンテンツへスキップ
- A Compact Pretraining Approach for Neural Language Models [21.8]
事前学習したNLMは、データのコンパクトなサブセットから、ドメイン内の情報をより効率的に、より高速に学習できることを示す。 抽象要約と抽出キーワードを組み合わせた非構造化データから,これらのコンパクトな部分集合を構築する。 我々の戦略は、バニラ予習に比べて、予習時間を最大5倍削減します。
論文 参考訳（メタデータ） (Mon, 29 Aug 2022 00:54:42 GMT)- 要約結果＆重要なキーワードの組み合わせにより全データ＆ランダムマスクな方針よりも高速に学習（ターゲットドメインへの適合）ができるとの報告
- ドメインを合わせるために重要な部分のみを使うというのは直感的には良さそうな方針に思えるがBART要約 & KeyBERTで作ってそうなるのかはどうなんだろう。実験結果ではランダムマスクに勝っているのでうまく動いているっぽいが。。。
- Efficient Methods for Natural Language Processing: A Survey [48.1]
結果を改善するためにスケールのみを使用するということは、リソース消費もスケールすることを意味します。 本研究は,NLPにおけるこれらの効率性における方法と知見を関連づけ,合成するものである。
論文 参考訳（メタデータ） (Wed, 31 Aug 2022 20:32:35 GMT)- 自然言語処理の効率化について、データ、モデル設計、学習、推論・圧縮の面でーサーベイした論文。
- What Do NLP Researchers Believe? Results of the NLP Community Metasurvey [43.8]
NLP Community Metasurveyの結果を報告する。 この調査は議論を呼んだ問題に関する意見を提起した。 コミュニティの予測が現実と一致しない誤った社会学的信念を見出す。
論文 参考訳（メタデータ） (Fri, 26 Aug 2022 19:45:51 GMT)- AGIや倫理などについてNLPコミュニティで調査した論文。2022年5月に調査を行い480名から回答を得たとのこと。うち327名が2019-2022で少なくとも2つのACL publicationsを出しているそうで専門家向けの調査になっている。
- 「Recent progress is moving us toward AGI」で57%が肯定的な見解を持っている、ベンチマークに過度に依存している疑念が強い、倫理的課題がデータやカバレッジ・精度向上で解決できると思っていない、など多方面で興味深い結果になっている。
- Efficient Long-Text Understanding with Short-Text Models [38.8]
SLEDは、バトルテストされた短文事前訓練されたLMを再利用し活用する、長いシーケンスを処理するための単純なアプローチである。 入力を重なり合うチャンクに分割し、それぞれを短文のLMエンコーダでエンコードし、事前訓練されたデコーダを使用してチャンク間で情報を融合する。 SLEDは、最大50倍の大きさで、専用で高価な事前訓練ステップを必要とする特殊なモデルと競合している。
論文 参考訳（メタデータ） (Mon, 1 Aug 2022 11:14:39 GMT)
- MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.0]
現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
論文 参考訳（メタデータ） (Thu, 28 Jul 2022 07:39:30 GMT)- 軍事のように通常のテキストとは大きく異なるドメイン向けの事前学習モデルの提案。軍事関連の外部知識を取り入れるためにマスキング戦略を修正している。
- ドメイン特化により（当然だが）性能が向上するとのこと。
- Inner Monologue: Embodied Reasoning through Planning with Language Models [81.1]
大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
論文 参考訳（メタデータ） (Tue, 12 Jul 2022 15:20:48 GMT)
- Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.1]
Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 03:12:30 GMT)
- Correcting Robot Plans with Natural Language Feedback [88.9]
既存の補正方法(例えばジョイスティックの使用やエンドエフェクターの直接操作など)は完全な遠隔操作やリアルタイム操作を必要とする。 本稿では,ロボット訂正のための表現的かつ柔軟なツールとして自然言語を探索する。これらの変換により、ユーザは目標を正し、ロボットの動きを更新し、計画上のエラーから回復できる。 本手法により,シミュレーション環境や実環境において,複数の制約を合成し,未知のシーン,オブジェクト,文に一般化することが可能となる。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 11 Apr 2022 15:22:43 GMT)- 自然言語でロボットにフィードバックするという未来を感じる研究。
- PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.4]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 3 Apr 2022 22:31:25 GMT)
- A Girl Has A Name, And It’s … Adversarial Authorship Attribution for Deobfuscation [9.6]
既存のオーサシップ難読化アプローチは、敵の脅威モデルを考慮していない。 このギャップを埋めるために, 難読化に対する敵対的著作者帰属の問題を検討する。 その結果,既存の難読化者の有効性を20～30%から5～10%に低下させることができた。 私たちの結果は、難読化に抵抗するより強固な難読化アプローチの必要性を強調する
論文 参考訳（メタデータ） (Tue, 22 Mar 2022 16:26:09 GMT)