コンテンツへスキップ
- Do What Nature Did To Us: Evolving Plastic Recurrent Neural Networks For Task Generalization [38.8]
進化的プラスチックリカレントニューラルネットワーク(EPRNN)というフレームワークを提案する。 EPRNNは、進化戦略、塑性規則、再帰に基づく学習を1つのメタ学習フレームワークで構成し、異なるタスクに一般化する。 EPRNNの内ループでは,再帰学習機構を用いて塑性を鍛造することにより,長期記憶と短期記憶の両方を効果的に実現している。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 8 Sep 2021 11:34:14 GMT)- 生物学的なニューラルネットワークに存在する塑性規則をRNNに自然な形で入れ込むという研究。（最後の結果からのみ学習するのではなく）観測列をもとに学習したいというモチベーションでRNNを選んだとのこと。RNNにおける長期記憶の欠如をPRNNが改善することを確認。
- 観測中にWとhを順次変更するセッティングを追加したRNNをPRNNと呼んでいるっぽい。確かにこっちの方が自然に思える。一方でRNN以後登場した複雑なモデル構築の戦略として有効かは研究の発展を待ちたいところ。EPRNNはPRNNに進化戦略的アプローチを取り入れ、異なるWorker間のパラメータを共有しながら更新していく（最適なパラメータを求めに行く）もののよう。
- Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.7]
本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
論文 参考訳（メタデータ） (Tue, 13 Jul 2021 18:01:43 GMT)- 内部表現から入力画像を戻せるか？を検討した論文。既存手法よりも高速、かつ高精度な復元が可能とのこと。（情報を残すように訓練されているとはいえ）42層後のデータからすら復元ができてるというのは面白い。
- A Survey of Uncertainty in Deep Neural Networks [39.7]
これは、ニューラルネットワークにおける不確実性推定に関心のある人に、幅広い概要と導入を提供することを目的としている。 最も重要な不確実性源を包括的に紹介し、再現可能なモデル不確実性への分離と、再現可能なデータ不確実性について述べる。 本稿では,ニューラルネットワークのキャリブレーションに対する様々な不確実性,アプローチ,既存のベースラインと実装の概要について論じる。
論文 参考訳（メタデータ） (Wed, 7 Jul 2021 16:39:28 GMT)- DNNの不確実性を幅広く扱ったサーベイで41ページ、345件の論文を引用と大作。不確実性とのタイトルだが、DNNを社会実装する際の危険性を知るために非常に参考になるとの印象。推定や対策として提案されている手法についての解説もある。
- 「不確実性の推定」と言われると個人的には違和感があるが……