タグ: NLP

A Survey on Natural Language Processing for Programming 

  • A Survey on Natural Language Processing for Programming [42.9]
    全スペクトルから関連する著作を体系的にレビューする文献は存在しない。 本論文は, 初期の演能モデルから最新の競争レベルモデルまで, 既存の研究を包括的に調査する。 この論文のもう1つの利点はテクニックカテゴリの完全性であり、将来の作品の配置と比較を簡単に行うことができる。
    論文  参考訳（メタデータ）   (Mon, 12 Dec 2022 08:51:30 GMT)
  • 自然言語処理をプログラミングに応用する取り組みのサーベイ
  • 最近は生成がよくニュースになるが、それ以外にも様々なタスクがあることが分かる

Text Embeddings by Weakly-Supervised Contrastive Pre-training 

自然言語処理へのバックドアアタックと防御のサーベイ

  • A Survey on Backdoor Attack and Defense in Natural Language Processing [18.3]
    NLP分野におけるバックドア攻撃と防御の総合的な検討を行う。 ベンチマークデータセットを要約し、バックドア攻撃を防ぐために信頼できるシステムを設計するためのオープンな問題を指摘した。
    論文  参考訳（メタデータ）   (Tue, 22 Nov 2022 02:35:12 GMT)
  • NLPにおける攻撃と防御のサーベイ
  • 短めでざっくりと状況を知るのに良いサーベイ。自然言語一般かもしれないが、良いメトリクスが無いというのはつらいなーと思う（スコアリングモデル自体が攻撃対象になっているとめっちゃ大変そう）

NL2INTERFACE

  • NL2INTERFACE: Interactive Visualization Interface Generation from Natural Language Queries [19.4]
    NL2INTERFACEは自然言語クエリから対話型多視点インタフェースを生成する。 ユーザはインターフェイスと対話して、データを簡単に変換し、視覚化の結果を素早く見ることができる。
    論文  参考訳（メタデータ）   (Mon, 19 Sep 2022 08:31:50 GMT)
    • 自然言語でインタラクティブに操作可能な環境。内部的にはテキストをstructurally parameterized SQL(SPS) に変換しているとのこと。

（内部動作は異なると思うが）ACT-1: Transformer for Actions (adept.ai)のようにやりたい事を言葉で指示する方針は有望なのだろうか？

Mega: Moving Average Equipped Gated AttentionとBART-LS

  • Mega: Moving Average Equipped Gated Attention [150.3]
    メガ (Mega) は、(予備的な)移動平均を備えた単純で理論上は接地された単頭誘導式アテンション機構である。 我々はMegaがトランスフォーマーの変種や最近の状態空間モデルを含む他のシーケンスモデルよりも大幅に改善されていることを示す。
    論文  参考訳（メタデータ）   (Wed, 21 Sep 2022 20:52:17 GMT)
    • Transformerを用いたNLPが流行しているが、長文対応は依然として大きな課題。アテンションに移動平均を適用して優れた性能を達成という報告。
    • シンプルな構造だが結果は強力とのこと。なんかLSTMっぽい。
  • Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.6]
    我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
    論文  参考訳（メタデータ）   (Wed, 21 Sep 2022 00:41:07 GMT)
    • 同日に出ていた長文対応の論文。こちらでは様々な手法を比較したうえで「アテンションをpooling-augmented blockwise attentionに置き換え」「長短スパンを混合したT5 スタイルのdenoising loss」「C4をランダムに連結した長文の事前学習データ」を取り入れている。
    • リポジトリはhttps://github.com/facebookresearch/bart_lsとのことだが、現時点では404

法的議論と自然言語処理

  • Mining Legal Arguments in Court Decisions [43.1]
    我々は,欧州人権裁判所の手続において,法的議論のための新たな注釈体系を開発する。 まず,欧州人権裁判所(ECHR)の手続における法的議論のための新たな注釈体系を設計し,法的議論研究の理論と実践に深く根ざしている。 第二に、373の判決(トークン2.3Mと15kの注釈付き引数)の大きなコーパスをコンパイルし、注釈付けします。 最後に、法的なnlpドメインにおける最先端モデルを上回る議論マイニングモデルを訓練し、専門家による徹底的な評価を提供する。
    論文  参考訳（メタデータ）   (Fri, 12 Aug 2022 08:59:55 GMT)

テキストの分散表現

  • Neural Embeddings for Text [14.1]
    本稿では,意味的意味を深く表現する自然言語テキストの埋め込みについて提案する。 この方法では、言語モデルにテキストから学習させ、文字通りその脳を選択して、モデルのニューロンの実際の重みを取り、ベクトルを生成する。 ニューラルネットワークの埋め込みとGPT文の埋め込みを比較した。
    論文  参考訳（メタデータ）   (Wed, 17 Aug 2022 16:26:13 GMT)

Effidit: Your AI Writing Assistant

  • Effidit: Your AI Writing Assistant [60.6]
    Effiditは、人工知能(AI)技術を使用して、ユーザーが高品質なテキストをより効率的に書けるようにするためのデジタルライティングアシスタントである。 Effiditでは、テキスト補完、エラーチェック、テキスト研磨、キーワード・トゥ・センテンス(K2S)、クラウド・インプット・メソッド(クラウドIME)の5つのカテゴリで機能を提供することで、筆記アシスタントの能力を大幅に拡大する。
    論文  参考訳（メタデータ）   (Wed, 3 Aug 2022 02:24:45 GMT)
    • Effidit（Efficient and Intelligent Editing）の論文、テキスト補間など便利な様々な機能が使える環境。オンラインデモも存在する。
    • プロジェクトサイトはEffidit (qq.com)

ferret: a Framework for Benchmarking Explainers on Transformers

  • ferret: a Framework for Benchmarking Explainers on Transformers [12.1]
    我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすいPythonライブラリであるferretを紹介した。 統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
    論文  参考訳（メタデータ）   (Tue, 2 Aug 2022 16:21:42 GMT)

MLRIP: 軍事用テキストマイニングのための事前学習モデル

  • MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.0]
    現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
    論文  参考訳（メタデータ）   (Thu, 28 Jul 2022 07:39:30 GMT)
    • 軍事のように通常のテキストとは大きく異なるドメイン向けの事前学習モデルの提案。軍事関連の外部知識を取り入れるためにマスキング戦略を修正している。
    • ドメイン特化により（当然だが）性能が向上するとのこと。