コンテンツへスキップ
- Post-hoc Interpretability for Neural NLP: A Survey [11.8]
本稿では,解釈可能性法がどのように説明を伝達するかを分類する。 この調査は、モデル学習後に説明を提供するポストホック手法に焦点を当てている。 このクラスのメソッドに共通する関心事は、モデルが正確に反映されているかどうかである。
論文 参考訳（メタデータ） (Tue, 10 Aug 2021 18:00:14 GMT)- 自然言語処理を対象にした説明性、解釈性を実現する手法のサーベイ。モチベーション、評価方法、手法の概要説明と非常に多くの手法を紹介している。この分野を振り返るうえで貴重な資料。
- AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing [0.0]
トランスフォーマーベースの事前訓練言語モデル(T-PTLM)は、ほぼすべてのNLPタスクで大きな成功を収めている。 変換されたPTLMは、自己教師付き学習を用いて大量のテキストデータから普遍的な言語表現を学習する。 これらのモデルは、下流モデルのスクラッチからのトレーニングを避けるために、下流タスクに適切なバックグラウンド知識を提供する。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 05:32:18 GMT)- 最近よく見るTransformerを用いた大規模事前学習モデルのサーベイ。42ページ、引用数304でこの分野を広範に調査、整理している。
- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.9]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (Wed, 28 Jul 2021 18:09:46 GMT)- GPT-2、GPT-3などで有名になり、Few-shotで重要なプロンプトに関するサーベイ。プロンプトの位置づけや概要から始まり、モデル、テクニック、応用など幅広い内容で非常に良い資料。TABLE 12 Timeline of prompt-based learningで2021.07.15 の FLEXまでカバーしているのも凄い。
- QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension [41.6]
我々は、現在のリソースの様々なフォーマットとドメインの概要を述べ、将来の作業における現在の隙間を強調します。 また、英語に対する過剰な焦点付けの影響についても論じ、他の言語や多言語リソースに対する現在のモノリンガルリソースについて調査する。
論文 参考訳（メタデータ） (Tue, 27 Jul 2021 10:09:13 GMT)- 引用数295という大規模なQAデータセットの調査結果。問題の構成、ドメイン、言語など様々な側面でデータセットを分類しており非常に参考になる。モノリンガルなリソースだと、日本語データセットは4番目（1位は英語、2位は中国語、3位はロシア語）に多いとのこと。
- A Survey on Bias in Visual Datasets [17.8]
コンピュータビジョン(CV)は、いくつかのタスクにおいて人間よりも優れた成果を上げている。 CVシステムは、供給されるデータに大きく依存し、そのようなデータ内のバイアスを学習し、増幅することができる。 本研究では,視覚データセットの収集中に異なる種類のバイアスを検出できるチェックリストを提案する。
論文 参考訳（メタデータ） (Fri, 16 Jul 2021 14:16:52 GMT)- 画像を対象にどのようなバイアスがありうるかを調査したサーベイ論文。色々なステップで入りうる多種のバイアスが紹介されており画像に限らず参考になる。24ページのチェックリストは簡潔にまとまっている。どれも重要な問いだと思う。
- From Show to Tell: A Survey on Image Captioning [49.0]
視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
論文 参考訳（メタデータ） (Wed, 14 Jul 2021 18:00:54 GMT)- 画像からの文章生成（キャプション生成）に対する包括的なサーベイ。画像のエンコーディング、言語モデル、学習戦略、評価、代表的なデータセット、性能表（13ページは必見）とこの分野が素晴らしく整理されている。7.IMAGE CAPTIONING VARIANTS、8. CONCLUSIONS AND FUTURE DIRECTIONSも参考になる。
- 引用リストを除き18ページと内容のわりにコンパクトだが、引用数は220。
- Deep Image Synthesis from Intuitive User Input: A Review and Perspectives [23.0]
コンピュータグラフィックス、アート、デザインの多くの応用において、ユーザはテキスト、スケッチ、ストローク、グラフ、レイアウトといった直感的な非画像入力を提供し、入力内容に準拠したフォトリアリスティックな画像を自動的に生成するコンピュータシステムを持つことが望ましい。 GAN(Generative Adversarial Network)やVAE(Variational autoencoders )、フローベース手法といった深層生成モデルの最近の進歩は、より強力で汎用的な画像生成タスクを可能にしている。 本稿では,直感的なユーザ入力による画像合成,入力の汎用性の向上,画像生成手法,ベンチマークデータセット,評価指標について概説する。
論文 参考訳（メタデータ） (Fri, 9 Jul 2021 06:31:47 GMT)- 画像生成に関するサーベイ。流行の手法、データセット、評価指標など一通りの内容が記載されていて勉強になる。
- A Survey on Low-Resource Neural Machine Translation [106.5]
我々は、低リソースNMTに関する調査を使用した補助データに基づいて(1)ソースおよび/またはターゲット言語の単言語データの活用,(2)補助言語からのデータの活用,(3)マルチモーダルデータの活用の3つのカテゴリに分類する。 私たちの調査は、研究者がこの分野をよりよく理解し、より良いアルゴリズムを設計するきっかけになることを期待しています。
論文 参考訳（メタデータ） (Fri, 9 Jul 2021 06:26:38 GMT)- リソースが少ない状況下でのニューラル機械翻訳に関するサーベイ。モノリンガルコーパスの利用、他言語データによる補助（マルチリンガル性や転移学習の利用）、マルチモーダルデータの利用など3つのカテゴリに分けてまとめている。この分野の概観を知るために良い資料であると思う。
- A Survey of Uncertainty in Deep Neural Networks [39.7]
これは、ニューラルネットワークにおける不確実性推定に関心のある人に、幅広い概要と導入を提供することを目的としている。 最も重要な不確実性源を包括的に紹介し、再現可能なモデル不確実性への分離と、再現可能なデータ不確実性について述べる。 本稿では,ニューラルネットワークのキャリブレーションに対する様々な不確実性,アプローチ,既存のベースラインと実装の概要について論じる。
論文 参考訳（メタデータ） (Wed, 7 Jul 2021 16:39:28 GMT)- DNNの不確実性を幅広く扱ったサーベイで41ページ、345件の論文を引用と大作。不確実性とのタイトルだが、DNNを社会実装する際の危険性を知るために非常に参考になるとの印象。推定や対策として提案されている手法についての解説もある。
- 「不確実性の推定」と言われると個人的には違和感があるが……
- A Survey on Dialogue Summarization: Recent Advances and New Frontiers [19.1]
本稿では、利用可能な研究データセットの概要と、入力対話の領域に従って既存の作業を要約し、統一されたメトリクスの下でリーダーボードを編成する。 コミュニティに迅速なアクセスと,この課題の全体像を提供し,今後の研究を動機付けることを願っている。
論文 参考訳（メタデータ） (Wed, 7 Jul 2021 12:11:14 GMT)- 対話要約に関するサーベイ。通常のDocument summarizationとは似て非なるタスク。会議、会話、e-mailのやり取り、カスタマーサービス、医療と対象とするドメインも様々。非常に参考になる。