タグ: NLP

NL2INTERFACE

  • NL2INTERFACE: Interactive Visualization Interface Generation from Natural Language Queries [19.4]
    NL2INTERFACEは自然言語クエリから対話型多視点インタフェースを生成する。 ユーザはインターフェイスと対話して、データを簡単に変換し、視覚化の結果を素早く見ることができる。
    論文  参考訳（メタデータ）   (Mon, 19 Sep 2022 08:31:50 GMT)
    • 自然言語でインタラクティブに操作可能な環境。内部的にはテキストをstructurally parameterized SQL(SPS) に変換しているとのこと。

（内部動作は異なると思うが）ACT-1: Transformer for Actions (adept.ai)のようにやりたい事を言葉で指示する方針は有望なのだろうか？

Mega: Moving Average Equipped Gated AttentionとBART-LS

  • Mega: Moving Average Equipped Gated Attention [150.3]
    メガ (Mega) は、(予備的な)移動平均を備えた単純で理論上は接地された単頭誘導式アテンション機構である。 我々はMegaがトランスフォーマーの変種や最近の状態空間モデルを含む他のシーケンスモデルよりも大幅に改善されていることを示す。
    論文  参考訳（メタデータ）   (Wed, 21 Sep 2022 20:52:17 GMT)
    • Transformerを用いたNLPが流行しているが、長文対応は依然として大きな課題。アテンションに移動平均を適用して優れた性能を達成という報告。
    • シンプルな構造だが結果は強力とのこと。なんかLSTMっぽい。
  • Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.6]
    我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
    論文  参考訳（メタデータ）   (Wed, 21 Sep 2022 00:41:07 GMT)
    • 同日に出ていた長文対応の論文。こちらでは様々な手法を比較したうえで「アテンションをpooling-augmented blockwise attentionに置き換え」「長短スパンを混合したT5 スタイルのdenoising loss」「C4をランダムに連結した長文の事前学習データ」を取り入れている。
    • リポジトリはhttps://github.com/facebookresearch/bart_lsとのことだが、現時点では404

法的議論と自然言語処理

  • Mining Legal Arguments in Court Decisions [43.1]
    我々は,欧州人権裁判所の手続において,法的議論のための新たな注釈体系を開発する。 まず,欧州人権裁判所(ECHR)の手続における法的議論のための新たな注釈体系を設計し,法的議論研究の理論と実践に深く根ざしている。 第二に、373の判決(トークン2.3Mと15kの注釈付き引数)の大きなコーパスをコンパイルし、注釈付けします。 最後に、法的なnlpドメインにおける最先端モデルを上回る議論マイニングモデルを訓練し、専門家による徹底的な評価を提供する。
    論文  参考訳（メタデータ）   (Fri, 12 Aug 2022 08:59:55 GMT)

テキストの分散表現

  • Neural Embeddings for Text [14.1]
    本稿では,意味的意味を深く表現する自然言語テキストの埋め込みについて提案する。 この方法では、言語モデルにテキストから学習させ、文字通りその脳を選択して、モデルのニューロンの実際の重みを取り、ベクトルを生成する。 ニューラルネットワークの埋め込みとGPT文の埋め込みを比較した。
    論文  参考訳（メタデータ）   (Wed, 17 Aug 2022 16:26:13 GMT)

Effidit: Your AI Writing Assistant

  • Effidit: Your AI Writing Assistant [60.6]
    Effiditは、人工知能(AI)技術を使用して、ユーザーが高品質なテキストをより効率的に書けるようにするためのデジタルライティングアシスタントである。 Effiditでは、テキスト補完、エラーチェック、テキスト研磨、キーワード・トゥ・センテンス(K2S)、クラウド・インプット・メソッド(クラウドIME)の5つのカテゴリで機能を提供することで、筆記アシスタントの能力を大幅に拡大する。
    論文  参考訳（メタデータ）   (Wed, 3 Aug 2022 02:24:45 GMT)
    • Effidit（Efficient and Intelligent Editing）の論文、テキスト補間など便利な様々な機能が使える環境。オンラインデモも存在する。
    • プロジェクトサイトはEffidit (qq.com)

ferret: a Framework for Benchmarking Explainers on Transformers

  • ferret: a Framework for Benchmarking Explainers on Transformers [12.1]
    我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすいPythonライブラリであるferretを紹介した。 統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
    論文  参考訳（メタデータ）   (Tue, 2 Aug 2022 16:21:42 GMT)

MLRIP: 軍事用テキストマイニングのための事前学習モデル

  • MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.0]
    現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
    論文  参考訳（メタデータ）   (Thu, 28 Jul 2022 07:39:30 GMT)
    • 軍事のように通常のテキストとは大きく異なるドメイン向けの事前学習モデルの提案。軍事関連の外部知識を取り入れるためにマスキング戦略を修正している。
    • ドメイン特化により（当然だが）性能が向上するとのこと。

Square One Bias in NLP

  • Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.8]
    我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 20 Jun 2022 13:04:23 GMT)
    • NLPの研究の多くが精度、多言語性、公平性・解釈可能性の1軸に焦点を当てており、このような形式をSQUARE ONEと呼びそこから生まれるバイアスをSQUARE ONE BIASと呼んでいる。論文中のACL2021の分析結果も興味深いが、感覚的にも2軸以上を扱う論文はレアだと思う。
      • 先端研究の場合、競争激化もあって多様な軸で比較するのはしんどいんだろうと思わなくはないが、実務的には多様な評価は普通に行われる（やらないと怖くて使えない）わけで実務的な報告が増えて欲しいと思う今日この頃。
    • プロジェクトサイトはGitHub – google-research/url-nlp

PLAT（Phrase-Level textual adversarial ATtack）:フレーズ単位のAdversarial Attack

  • Phrase-level Textual Adversarial Attack with Label Preservation [34.4]
    本稿では,フレーズレベルの摂動を通じて対数サンプルを生成するPhrase-Level Textual Adrial aTtack (PLAT)を提案する。 PLATは強力なベースラインよりも攻撃効率が優れ、ラベルの一貫性も優れている。
    論文  参考訳（メタデータ）   (Sun, 22 May 2022 02:22:38 GMT)
    • テキスト内のフレーズを攻撃対象としたAdversarial Attack手法の提案。単語単位で摂動させるよりも攻撃範囲が広く、不自然さが軽減されるとのこと。
    • リポジトリはGitHub – Yibin-Lei/PLAT

EASE(Entity-Aware contrastive learning of Sentence Embeddings)

  • EASE: Entity-Aware Contrastive Learning of Sentence Embedding [37.7]
    EASEは文とその関連エンティティ間の対照的な学習を通して文の埋め込みを学習する新しい方法である。 EASEは英語のセマンティックテキスト類似性(STS)と短いテキストクラスタリング(STC)タスクにおいて、競合的あるいはより良いパフォーマンスを示す。
    論文  参考訳（メタデータ）   (Mon, 9 May 2022 13:22:44 GMT)
    • エンティティ情報を活用した文の分散表現化。マルチリンガル設定を含むSTC/STSで優れた性能を達成とのこと。
    • リポジトリはGitHub – studio-ousia/ease