コンテンツへスキップ
- DataCLUE: A Benchmark Suite for Data-centric NLP [11.0]
データ中心のAIは、モデルパフォーマンスを改善するためにデータセットの品質を改善することを強調する。 NLPフィールドに適用された最初のData-CentricベンチマークであるDataCLUEを提案する。 我々は,人間のアノテーションを用いた総合的な実験を行い,DataCLUEの難しさを示す。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 17 Nov 2021 16:24:55 GMT) - ニューラル機械翻訳モデルと対訳データの品質 | ぷるーふおぶこんせぷと (staka.jp) でも記載した通り、ニューラル機械翻訳モデル構築においては対訳データの品質が非常に重要。FuguMTのデータを用いてデータ中心（データの品質向上技術を競う）ベンチマークを作りたいなと思わなくもない。
- Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.0]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 4 Nov 2021 12:59:55 GMT)- 敵対的攻撃環境下で動作させることを目的としたベンチマーク、データセットの提案。「攻撃アルゴリズムの多くが無効または曖昧な例を生成する → 慎重なフィルタリング処理を実施」「言語モデルとトレーニングメソッドはAdvGLUEではパフォーマンスが悪く、スコアは大きく劣化」という攻撃する側、される側ともに課題がありそうなのが興味深い。
- プロジェクトサイトはhttps://adversarialglue.github.io/
- Data Augmentation Approaches in Natural Language Processing: A Survey [28.9]
データ拡張(DA)は、ディープラーニング技術が失敗する可能性のあるデータの不足シナリオを軽減する。 DA手法の主な焦点の1つは、トレーニングデータの多様性を改善することである。 DA手法をパラフレーズ化, ノイズ化, サンプリングなど, 拡張データの多様性に基づいて3つのカテゴリに分類する。
論文 参考訳（メタデータ） (Tue, 5 Oct 2021 07:35:32 GMT)- 自然言語処理におけるデータ拡張の幅広いサーベイ。言い換え、ノイズ付与、サンプリングの3カテゴリで整理を行っている。42ページ、引用論文数122と規模が大きい。論文中に出てくる図が非常に参考になる。
- Paradigm Shift in Natural Language Processing [66.6]
ディープラーニングの時代、ほとんどのNLPタスクのモデリングは、いくつかの主流パラダイムに収束した。 近年, パラダイムシフトが増加傾向にあり, 一つのNLPタスクを別のタスクとして再構成することで解決している。 これらのパラダイムのいくつかは、多数のNLPタスクを統合する大きな可能性を示しており、多様なタスクを処理する単一のモデルを構築することができる。
論文 参考訳（メタデータ） (Sun, 26 Sep 2021 11:55:23 GMT)
- Perturbing Inputs for Fragile Interpretations in Deep Natural Language Processing [18.9]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。 本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (Wed, 11 Aug 2021 02:07:21 GMT)- 単語をスワップすることによってLIMEやINTEGRATED GRADIENTの解釈に影響を与えることができるかを検証した論文。解釈性へ影響を与えることが可能とのこと。
- 「there has been little analysis of the reliability and robustness of the explanation techniques」という指摘は重要。
- Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents [2.6]
我々は、下流のNLPタスクに対してOCRエラーを軽減するための効果的なフレームワークを実証する。 まず,文書合成パイプラインを構築することにより,モデル学習におけるデータ不足問題に対処する。 コミュニティの利益のために、私たちはドキュメント合成パイプラインをオープンソースプロジェクトとして利用可能にしました。
論文 参考訳（メタデータ） (Fri, 6 Aug 2021 00:32:54 GMT)- OCRで作られたテキストに対するNLPは通常のテキストと異なる問題が多々ある。この論文ではNERを対象にOCRにありがちなエラーを再現するフレームワークを構築し、合成データを増やしてデータ不足に対応するアプローチを紹介している。
- Eider: Evidence-enhanced Document-level Relation Extraction [56.7]
文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
論文 参考訳（メタデータ） (Wed, 16 Jun 2021 09:43:16 GMT)- joint relation and evidence extraction, evidence-centered relation extraction, fusion of extraction resultsの3ステージ構成のモデルを用いてDocREDで優れたパフォーマンス（BERTbaseではSOTA）を出したとの報告。