コンテンツへスキップ
- LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking [83.1]
テキストと画像のマスキングを併用した文書AIのためのマルチモーダルトランスフォーマーを事前学習するためのLayoutLMv3を提案する。 単純な統一アーキテクチャとトレーニングの目的により、LayoutLMv3はテキスト中心および画像中心のDocument AIタスクの汎用的な事前トレーニングモデルになる。
論文 参考訳（メタデータ） (Mon, 18 Apr 2022 16:19:52 GMT)
- Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.4]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 17 Apr 2022 23:56:54 GMT)- 英語で事前学習された事前学習モデルが他の言語でも有効なことがある理由をデータのコンタミによるものであると指摘した論文。
- クローリング結果の言語を統一するクレンジングは困難で妥当な内容と思う。（とはいえ＆完全否定されているわけではないが）言語間でも共通な構造みたいなものを捉えていて欲しかった気もする。
- Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.1]
Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 03:12:30 GMT)
- SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words [59.1]
本研究では,テキストの簡易化を継続する事前学習手法を提案する。 我々は、継続事前学習に小規模な単純なテキストデータセットを使用し、簡単な単語を識別するために2つの方法を用いる。 語彙単純化タスクと文簡略化タスクの両方においてBERTを超えるSimpleBERTを得る。
論文 参考訳（メタデータ） 参考訳（全文） (Sat, 16 Apr 2022 11:28:01 GMT)- 単語をランダムにマスクするのではなく、単純な単語だけをマスクする方針で事前学習をしたBERTが通常のBERTよりテキスト簡略化タスクで有効だったという報告。
- 事前学習の戦略の工夫で最終的な性能が上がるのは直感的にもそうだと思うし実用でも研究でも重要な視点。
- OTExtSum: Extractive Text Summarisation with Optimal Transport [45.8]
テキスト要約を最適輸送(OT)問題として初めて定式化した非学習型手法を提案する。 提案手法は,最先端の非学習的手法と最近の学習的手法をROUGEメートル法で比較した。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 21 Apr 2022 13:25:34 GMT)
- SNP2Vec: Scalable Self-Supervised Pre-Training for Genome-Wide Association Study [48.8]
SNP2Vecは、SNPを理解するためのスケーラブルな自己教師付き事前学習手法である。 本研究では,SNP2Vecを用いて時系列ゲノミクスモデリングを行う。 中国コホートにおけるアルツハイマー病のリスク予測におけるアプローチの有効性について検討した。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 14 Apr 2022 01:53:58 GMT)
- Re-Examining Human Annotations for Interpretable NLP [80.8]
我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 10 Apr 2022 02:27:30 GMT)- アノテータによってアノテーションの品質が大きく変わるなどアノテーションに関する包括的な報告。「Surprisingly, providing example annotations does not increase the agreement among annotators.」など非常に参考になる。
- Summarization with Graphical Elements [55.6]
本稿では,グラフィカル要素による要約という新しい課題を提案する。 タスクの研究を支援するために,高品質なラベル付きデータセットを収集する。
論文 参考訳（メタデータ） (Fri, 15 Apr 2022 17:16:41 GMT)- ナレッジグラフのような形で要約する新しい要約タスクの提案とデータセット、ベースモデルの提示。提案されたデータセットでは関係として「L = {who, what, what happens, what happened, what will happen, where, when, why}」が与えられており、このような関係で結ばれた小さな要約で構成されていると確かに読みやすい。
- A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges [73.3]
法定判断予測(LJP)は,事実記述に基づく判断結果の自動予測に自然言語処理(NLP)技術を適用している。 6言語で31のLJPデータセットを分析し、その構築過程を示し、LJPの分類方法を定義する。 異なる訴訟の8つの代表的データセットに対する最先端の結果を示し、オープンな課題について議論する。
論文 参考訳（メタデータ） (Mon, 11 Apr 2022 04:06:28 GMT)- 法的な判断への自然言語処理技術適用のサーベイ。近年トップカンファレスでの発表が増えている事、多種多様なアプローチがあることも分かる。解釈可能性の重視などクリティカルな領域への自然言語処理技術適用の話としても興味深い。
- ViViD++: Vision for Visibility Dataset [14.8]
様々な輝度条件をターゲットとした多様な視覚データフォーマットを抽出したデータセットを提案する。 代替センサーの可能性にもかかわらず、代替視覚センサーを備えたデータセットは依然として少ない。 これらの測定結果と慣性センサーと接地構造を併用して,照明不良下でのロバストな視力SLAMを開発する。
論文 参考訳（メタデータ） (Thu, 14 Apr 2022 00:38:12 GMT)