日: 2021年9月10日

EPRNN(Evolutionary Plastic Recurrent Neural Networks): 進化的可塑的回帰型ニューラルネットワーク

  • Do What Nature Did To Us: Evolving Plastic Recurrent Neural Networks For Task Generalization [38.8]
    進化的プラスチックリカレントニューラルネットワーク(EPRNN)というフレームワークを提案する。 EPRNNは、進化戦略、塑性規則、再帰に基づく学習を1つのメタ学習フレームワークで構成し、異なるタスクに一般化する。 EPRNNの内ループでは,再帰学習機構を用いて塑性を鍛造することにより,長期記憶と短期記憶の両方を効果的に実現している。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 8 Sep 2021 11:34:14 GMT)
    • 生物学的なニューラルネットワークに存在する塑性規則をRNNに自然な形で入れ込むという研究。（最後の結果からのみ学習するのではなく）観測列をもとに学習したいというモチベーションでRNNを選んだとのこと。RNNにおける長期記憶の欠如をPRNNが改善することを確認。
      • 観測中にWとhを順次変更するセッティングを追加したRNNをPRNNと呼んでいるっぽい。確かにこっちの方が自然に思える。一方でRNN以後登場した複雑なモデル構築の戦略として有効かは研究の発展を待ちたいところ。EPRNNはPRNNに進化戦略的アプローチを取り入れ、異なるWorker間のパラメータを共有しながら更新していく（最適なパラメータを求めに行く）もののよう。

FairytaleQA : 子どものストーリーブックに対するQA

  • It is AI’s Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset [30.6]
    教育応用においては、教師や親は、言語学習結果を最大化できる子どもにどんな質問をすべきか分からないことがある。 新たにリリースされた書籍QAデータセット(FairytaleQA)を用いて,本アプリケーションのための自動QA生成モデルアーキテクチャを開発した。
    論文  参考訳（メタデータ）   (Wed, 8 Sep 2021 04:11:54 GMT)
    • ルールベースでAnswerを生成、その後BART-baseな手法でQuestionを生成する手順でQAを作ろうという研究。（子供の）教育を目的としている点が興味深い。
    • データセットは公開されていないよう（？）