コンテンツへスキップ
- It is AI’s Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset [30.6]
教育応用においては、教師や親は、言語学習結果を最大化できる子どもにどんな質問をすべきか分からないことがある。 新たにリリースされた書籍QAデータセット(FairytaleQA)を用いて,本アプリケーションのための自動QA生成モデルアーキテクチャを開発した。
論文 参考訳（メタデータ） (Wed, 8 Sep 2021 04:11:54 GMT)- ルールベースでAnswerを生成、その後BART-baseな手法でQuestionを生成する手順でQAを作ろうという研究。（子供の）教育を目的としている点が興味深い。
- データセットは公開されていないよう（？）
- Sequence Level Contrastive Learning for Text Summarization [49.0]
教師付き抽象テキスト要約のためのContrastive学習モデルを提案する。 3つの異なる要約データセット上で、強いシーケンスからシーケンスへのテキスト生成モデル(すなわちBART)を改善する。 また, 人的評価は, 比較対象を含まないモデルに比べて, 忠実度評価が優れていることを示す。
論文 参考訳（メタデータ） (Wed, 8 Sep 2021 08:00:36 GMT)- 画像で流行したContrastive Learningをテキスト要約に適用、BARTの性能を改善したとのこと。CNN/DailyMail でSOTAを改善しているよう。人間の評価でもBARTを上回る性能。CNN/DailyMailのR-1で45台はすごい。
- NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.9]
テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数字埋め込みを利用して、数字の仮数をエンコードし、個別の埋め込み方法によって数字の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
論文 参考訳（メタデータ） (Tue, 7 Sep 2021 15:06:12 GMT)- テキストの中の数値を通常の文字とは異なる扱いとする事前学習モデルの提案。数値関連のデータについて性能が向上したとのこと。
- 機械翻訳でも数値の取り扱いに苦労することが多い。機械的に対訳ペアを生成したデータセットの多くが数値関連の問題を抱えていることからも、数値を別扱いするというのは良い方法のように思える。
- CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing Human Trust in Image Recognition Models [84.3]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。 単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。 本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 6 Sep 2021 07:00:34 GMT)- 対話型のXAIフレームワークの提案。AIとユーザのインタラクションを通して説明を行っていくとのことで、「①AIが画像をシマウマと認識」「②ユーザがなぜ馬でないか質問」「③AIは縞模様の画像を表示、ユーザの認識を確認」「④AIは縞模様を重視していると回答」という例が挙げられていた。SHAPやLIMEよりユーザからの信頼性度数と満足度の双方で優れていたとのこと。
- 人間同士でもQAをしながらモデルの理解を深めるわけで自然なフレームワークに見える。一方で論文中にはちょくちょく手作業が入っていて汎用的に完全自動化できるのかは疑問。
- Datasets: A Community Library for Natural Language Processing [55.5]
データセットは、現代のNLPのためのコミュニティライブラリである。 このライブラリには650以上のユニークなデータセットが含まれており、250以上のコントリビュータを抱えており、さまざまな新しいクロスデータセット研究プロジェクトを支援している。
論文 参考訳（メタデータ） (Tue, 7 Sep 2021 03:59:22 GMT)- みんな大好き（？）Huggingfaceとコミュニティが整備したデータセットライブラリ。幅広いデータセットが使いやすく整備されている。
- リポジトリはhttps://github.com/huggingface/datasets、「pip install datasets」はすごいコマンドだなとも。
- DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization [19.9]
本稿では,長い対話理解と要約のための事前学習フレームワークを提案する。 長い会話の性質を考慮し、生成前学習のためのウィンドウベースの認知的アプローチを提案する。 我々は,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする,長文対話の5つのデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (Mon, 6 Sep 2021 13:55:03 GMT)- 数千語以上と長い対話に対する言語モデルの提案。HAT-BARTやLongformerより優れた結果を出したとのこと。
- LightAutoML: AutoML Solution for a Large Financial Services Ecosystem [108.1]
本稿では、ヨーロッパ大手金融サービス会社向けに開発されたLightAutoMLと呼ばれるAutoMLシステムについて述べる。 当社のフレームワークは、多数のアプリケーションに試験的にデプロイされ、経験豊富なデータサイエンティストのレベルで実行されました。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 3 Sep 2021 13:52:32 GMT)- 軽量・高速なAutoMLの紹介。テーブルデータを対象として「L2正則化な線形モデル、LightGBM、Catboost」＋「Optunaを用いたTPE」で構成されている。与える情報はターゲットとテーブルデータ、それぞれの列がnumeric、category、datetimeのどれか？という情報とのこと。妥当な構成で妥当な結果が出るんだろうと思う。テーブル間結合に対応しているかは良く分からない。
- 設計方針は以前紹介した「Fugu AutoML」と同じ（というかテーブルデータを対象とした多くのAutoMLフレームワークが同じような設計）、未公開バージョンではscikit-learn / statsmodelsによる線形回帰が実装されていたりするので設計思想も近しい。（といっても更新停止状態だけど・・・）
- 個人的にはテーブル間結合機能の有無とLeakage発生回避の工夫が気になる。
- CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge [32.6]
エンティティ知識に関するコモンセンス推論のためのテストベッドであるCREAKを紹介する。 私たちのデータセットは、真か偽かのエンティティに関する主張で構成されています。 クラウドワーカーはこれらのステートメントを簡単に見つけ出すことができ、データセット上での人間のパフォーマンスは高い。
論文 参考訳（メタデータ） (Fri, 3 Sep 2021 17:56:40 GMT)
- Cross-Lingual Training with Dense Retrieval for Document Retrieval [56.3]
我々は、英語のアノテーションから複数の非英語言語への文書ランク付けのための異なる転送手法について検討する。 6つの言語(中国語、アラビア語、フランス語、ヒンディー語、ベンガル語、スペイン語)におけるテストコレクションの実験。 弱教師付きターゲット言語転送は、世代ベースターゲット言語転送に対する競合性能をもたらすことが判明した。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 3 Sep 2021 17:15:38 GMT)- 英語のデータ＋mBERTで作ったモデルが他言語のタスクでも有効であることを示した報告。色々なタスクで同様の性質が報告されているが、中国語、アラビア語、フランス語、ヒンディー語、ベンガル語、スペイン語と複数言語の文書検索タスクで結果を確認しており参考になる。
- Finetuned Language Models Are Zero-Shot Learners [67.7]
命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
論文 参考訳（メタデータ） (Fri, 3 Sep 2021 17:55:52 GMT)- 効率的に自然言語で命令を記載可能な事前学習モデルを構築、GPT-３のFew-shotを上回る性能を出したとの報告。62個のデータセットを12種類のタスククラスタに分類、自然言語で書かれた命令を使いタスクを記述するためのテンプレートを手動で作成して学習データを構築。137BパラメータのTransformer（2.81T BPE tokenのWebドキュメント、対話データ、Wikipediaで事前学習済み、10%が英語以外）でモデルを構築したとのこと。読解タスクではprompt engneering無しでfew-shotのGPT-3を上回る結果を出している。一方で翻訳タスクではfew-shotのGPT-3を下回っているようで事前学習モデルの言語の偏りに影響されているように見える。
- 自然言語で指示可能とか未来を感じる結果、そして規模が非常に大きい。