コンテンツへスキップ
- A Comparative Survey of Deep Active Learning [76.0]
Active Learning (AL)は、ラベル付けのための大きなラベル付けされていないデータプールからデータサンプルを順次選択することで、ラベル付けコストを削減するための一連のテクニックである。 ディープラーニング(DL)はデータハングリーであり、DLモデルのパフォーマンスは、より多くのトレーニングデータとともに単調にスケールする。 近年、Deep Active Learning (DAL) は、高価なラベリングコストを最小化しつつ、モデル性能を最大化するための実現可能なソリューションとして上昇している。
論文 参考訳（メタデータ） (Fri, 25 Mar 2022 05:17:24 GMT)
- DeepNet: Scaling Transformers to 1,000 Layers [106.3]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文 参考訳（メタデータ） (Tue, 1 Mar 2022 15:36:38 GMT)
- Table Pretraining: A Survey on Model Architectures, Pretraining Objectives, and Downstream Tasks [37.4]
テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。 表の事前訓練は通常、表とテキストの合同の事前訓練の形式を取る。 この調査は、異なるモデル設計の包括的なレビュー、事前学習の目的、およびテーブル事前学習のための下流タスクを提供することを目的としている。
論文 参考訳（メタデータ） (Mon, 24 Jan 2022 15:22:24 GMT)- 表やテキスト構造へのDeep Learning適用のサーベイ。table question answeringやtable type recognitionといった表を含むドメインの問題やテーブルデータへのDeep Learning適用（TabTransformerやSAINT）が対象になっている。
- この分野を概観するには良いが詳細を知るには挙げられた論文を読む必要がありそう。
- Dynamic Price of Parking Service based on Deep Learning [68.8]
都市部における空気質の向上は、公共団体の主な関心事の一つである。 この懸念は、大気の質と公衆衛生の間の証拠から生じる。 規制された駐車場サービスにおける動的価格の提案について述べる。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 11 Jan 2022 20:31:35 GMT)- ダイナミックプライシングにDeep Learningを活用。CNN, LSTM, U-Timeを比較している。手法選択はともかくとして、大気汚染防止のためという目的が興味深い。
- All You Need In Sign Language Production [50.4]
手話の認識と生成のためには、いくつかの重要な課題に対処する必要があります。本稿ではSLP（ Sign Language Production）のバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。 最後に、SLPと性能評価のための一般的なフレームワーク、およびSLPの最近の発展、利点、限界に関する議論について、今後の研究の行程についてコメントする。
論文 参考訳（メタデータ） (Thu, 6 Jan 2022 18:10:58 GMT)- 深層学習を中心とした手話に関するサーベイ。その中でもSign Language Productionに焦点を当てており、題名の通り包括的なサーベイの印象。Sign Language Recognition (SLR)とSign Language Production (SLP)の問題の違いなどが参考になった。
- Deep Probability Estimation [14.7]
深層ニューラルネットワークを用いた高次元データからの確率推定について検討する。 この研究の目的は、ディープニューラルネットワークを用いた高次元データからの確率推定を調査することである。 合成データおよび実世界の3つの確率推定タスクにおける既存手法の評価を行った。
論文 参考訳（メタデータ） (Sun, 21 Nov 2021 03:55:50 GMT)- （Deep Learningに限らず）通常はモデル出力は確率として使うことはできない。キャリブレーションする方法は様々提案されているが、ここでは学習時のloss関数を変更することで有望な結果を得ているとのこと。
- A Survey on Green Deep Learning [25.7]
本稿では,グリーンディープラーニング技術の発展を体系的にレビューすることに焦点を当てる。 提案手法は,(1)コンパクトネットワーク,(2)エネルギー効率のトレーニング戦略,(3)エネルギー効率の推論アプローチ,(4)データ利用率の4つのカテゴリに分類される。
論文 参考訳（メタデータ） (Wed, 10 Nov 2021 02:28:08 GMT)- 最近よく話題になるDeepLearningにおけるカーボンフットプリントのようなAIと環境との関わりのサーベイ。アーキテクチャ、学習、推論などモデル構築要素の他、データの使い方（Active LearningやFew shotなど）についても扱っている。各チャプターの整理図が良い感じでありがたい。
- CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.3]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳（メタデータ） (Mon, 4 Oct 2021 17:59:31 GMT)- 物体検出タスクにおいて不確かさを推定、定量化する手法を提案。クラスに関する不確実性だけでなく、位置や大きさの不確実性も定量化できるとのこと。実用上重要な値であると思う。
- Do What Nature Did To Us: Evolving Plastic Recurrent Neural Networks For Task Generalization [38.8]
進化的プラスチックリカレントニューラルネットワーク(EPRNN)というフレームワークを提案する。 EPRNNは、進化戦略、塑性規則、再帰に基づく学習を1つのメタ学習フレームワークで構成し、異なるタスクに一般化する。 EPRNNの内ループでは,再帰学習機構を用いて塑性を鍛造することにより,長期記憶と短期記憶の両方を効果的に実現している。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 8 Sep 2021 11:34:14 GMT)- 生物学的なニューラルネットワークに存在する塑性規則をRNNに自然な形で入れ込むという研究。（最後の結果からのみ学習するのではなく）観測列をもとに学習したいというモチベーションでRNNを選んだとのこと。RNNにおける長期記憶の欠如をPRNNが改善することを確認。
- 観測中にWとhを順次変更するセッティングを追加したRNNをPRNNと呼んでいるっぽい。確かにこっちの方が自然に思える。一方でRNN以後登場した複雑なモデル構築の戦略として有効かは研究の発展を待ちたいところ。EPRNNはPRNNに進化戦略的アプローチを取り入れ、異なるWorker間のパラメータを共有しながら更新していく（最適なパラメータを求めに行く）もののよう。
- Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.7]
本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
論文 参考訳（メタデータ） (Tue, 13 Jul 2021 18:01:43 GMT)- 内部表現から入力画像を戻せるか？を検討した論文。既存手法よりも高速、かつ高精度な復元が可能とのこと。（情報を残すように訓練されているとはいえ）42層後のデータからすら復元ができてるというのは面白い。