コンテンツへスキップ
- MATE: Multi-view Attention for Table Transformer Efficiency [21.5]
ウェブ上のリレーショナルテーブルの20%以上が20行以上の行を持っている。 現在のTransformerモデルは一般的に512トークンに制限されている。 本稿では,Webテーブルの構造をモデル化する新しいトランスフォーマーアーキテクチャであるMATEを提案する。
論文 参考訳（メタデータ） (Thu, 9 Sep 2021 14:39:30 GMT)- WEBページなどによくあるテーブル構造をモデル化可能な（シーケンス長が長く効率的な）transformerモデルを提案、HybridQAなどでsotaとのこと。
- 一般的に表形式データが混在したWEBページの扱いは難しいのでこの研究には興味津々。
- Talk-to-Edit: Fine-Grained Facial Editing via Dialog [79.9]
Talk-to-Editは対話型顔編集フレームワークで、ユーザーとシステム間の対話を通じて微粒な属性操作を行う。 我々の重要な洞察は、GANラテント空間における連続的な「セマンティックフィールド」をモデル化することである。 本システムは,ユーザからの要求とセマンティックフィールドの状態の両方を考慮し,言語フィードバックを生成する。
論文 参考訳（メタデータ） (Thu, 9 Sep 2021 17:17:59 GMT)
- HintedBT: Augmenting Back-Translation with Quality and Transliteration Hints [7.5]
標的単言語コーパスのバックトランスレーションは、ニューラルマシン翻訳(NMT)に広く用いられているデータ拡張戦略である 私たちは、エンコーダとデコーダにヒント(タグを通して)を提供するテクニックのファミリーであるHintedBTを紹介します。 これらのヒントを別々に使用することで翻訳品質が大幅に向上することを示す。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 9 Sep 2021 17:43:20 GMT)- 高品質BTデータと低品質BTデータについてタグを付与することによりBack Translationの有効性を上げられるとの報告。LaBSEによるHintが有効とのことでマルチリンガルな分散表現の活用は有効のよう。（FuguMTでも使わせてもらっている）
- Do What Nature Did To Us: Evolving Plastic Recurrent Neural Networks For Task Generalization [38.8]
進化的プラスチックリカレントニューラルネットワーク(EPRNN)というフレームワークを提案する。 EPRNNは、進化戦略、塑性規則、再帰に基づく学習を1つのメタ学習フレームワークで構成し、異なるタスクに一般化する。 EPRNNの内ループでは,再帰学習機構を用いて塑性を鍛造することにより,長期記憶と短期記憶の両方を効果的に実現している。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 8 Sep 2021 11:34:14 GMT)- 生物学的なニューラルネットワークに存在する塑性規則をRNNに自然な形で入れ込むという研究。（最後の結果からのみ学習するのではなく）観測列をもとに学習したいというモチベーションでRNNを選んだとのこと。RNNにおける長期記憶の欠如をPRNNが改善することを確認。
- 観測中にWとhを順次変更するセッティングを追加したRNNをPRNNと呼んでいるっぽい。確かにこっちの方が自然に思える。一方でRNN以後登場した複雑なモデル構築の戦略として有効かは研究の発展を待ちたいところ。EPRNNはPRNNに進化戦略的アプローチを取り入れ、異なるWorker間のパラメータを共有しながら更新していく（最適なパラメータを求めに行く）もののよう。
- It is AI’s Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset [30.6]
教育応用においては、教師や親は、言語学習結果を最大化できる子どもにどんな質問をすべきか分からないことがある。 新たにリリースされた書籍QAデータセット(FairytaleQA)を用いて,本アプリケーションのための自動QA生成モデルアーキテクチャを開発した。
論文 参考訳（メタデータ） (Wed, 8 Sep 2021 04:11:54 GMT)- ルールベースでAnswerを生成、その後BART-baseな手法でQuestionを生成する手順でQAを作ろうという研究。（子供の）教育を目的としている点が興味深い。
- データセットは公開されていないよう（？）
- Sequence Level Contrastive Learning for Text Summarization [49.0]
教師付き抽象テキスト要約のためのContrastive学習モデルを提案する。 3つの異なる要約データセット上で、強いシーケンスからシーケンスへのテキスト生成モデル(すなわちBART)を改善する。 また, 人的評価は, 比較対象を含まないモデルに比べて, 忠実度評価が優れていることを示す。
論文 参考訳（メタデータ） (Wed, 8 Sep 2021 08:00:36 GMT)- 画像で流行したContrastive Learningをテキスト要約に適用、BARTの性能を改善したとのこと。CNN/DailyMail でSOTAを改善しているよう。人間の評価でもBARTを上回る性能。CNN/DailyMailのR-1で45台はすごい。
- NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.9]
テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数字埋め込みを利用して、数字の仮数をエンコードし、個別の埋め込み方法によって数字の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
論文 参考訳（メタデータ） (Tue, 7 Sep 2021 15:06:12 GMT)- テキストの中の数値を通常の文字とは異なる扱いとする事前学習モデルの提案。数値関連のデータについて性能が向上したとのこと。
- 機械翻訳でも数値の取り扱いに苦労することが多い。機械的に対訳ペアを生成したデータセットの多くが数値関連の問題を抱えていることからも、数値を別扱いするというのは良い方法のように思える。
- CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing Human Trust in Image Recognition Models [84.3]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。 単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。 本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 6 Sep 2021 07:00:34 GMT)- 対話型のXAIフレームワークの提案。AIとユーザのインタラクションを通して説明を行っていくとのことで、「①AIが画像をシマウマと認識」「②ユーザがなぜ馬でないか質問」「③AIは縞模様の画像を表示、ユーザの認識を確認」「④AIは縞模様を重視していると回答」という例が挙げられていた。SHAPやLIMEよりユーザからの信頼性度数と満足度の双方で優れていたとのこと。
- 人間同士でもQAをしながらモデルの理解を深めるわけで自然なフレームワークに見える。一方で論文中にはちょくちょく手作業が入っていて汎用的に完全自動化できるのかは疑問。
- Datasets: A Community Library for Natural Language Processing [55.5]
データセットは、現代のNLPのためのコミュニティライブラリである。 このライブラリには650以上のユニークなデータセットが含まれており、250以上のコントリビュータを抱えており、さまざまな新しいクロスデータセット研究プロジェクトを支援している。
論文 参考訳（メタデータ） (Tue, 7 Sep 2021 03:59:22 GMT)- みんな大好き（？）Huggingfaceとコミュニティが整備したデータセットライブラリ。幅広いデータセットが使いやすく整備されている。
- リポジトリはhttps://github.com/huggingface/datasets、「pip install datasets」はすごいコマンドだなとも。
- DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization [19.9]
本稿では,長い対話理解と要約のための事前学習フレームワークを提案する。 長い会話の性質を考慮し、生成前学習のためのウィンドウベースの認知的アプローチを提案する。 我々は,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする,長文対話の5つのデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (Mon, 6 Sep 2021 13:55:03 GMT)- 数千語以上と長い対話に対する言語モデルの提案。HAT-BARTやLongformerより優れた結果を出したとのこと。