Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.3] 半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。 論文参考訳（メタデータ） (Wed, 24 Aug 2022 04:26:21 GMT)
A Survey on Temporal Graph Representation Learning and Generative Modeling [21.2] 時間グラフは、実体間の動的関係を表し、ソーシャルネットワーク、eコマース、コミュニケーション、道路ネットワーク、生物学的システムなど、多くの実生活アプリケーションで発生する。 本稿では,近年提案されている時間依存グラフ表現学習と生成モデルによる時間グラフ処理手法について概観的に検討する。 論文参考訳（メタデータ） (Thu, 25 Aug 2022 14:42:08 GMT)
Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues [14.2] 本稿では、自動機械学習(AutoML)の観点から進化的深層学習(EDL)を解析することを目的とする。 DLパイプラインによると、我々は、機能工学、モデル生成、モデル展開から新しい分類法によるモデル展開まで、EDL手法を体系的に導入する。 主要なアプリケーション、オープンイシュー、将来の研究の有望なラインが提案されている。 論文参考訳（メタデータ） (Tue, 23 Aug 2022 00:21:28 GMT)
Training a T5 Using Lab-sized Resources [10.8] 大きなデータセットで大規模なニューラルネットワークモデルをトレーニングするのは、リソースと時間集約的です。 本稿では, 研究機関が持つであろう資源を用いて, 大規模言語モデルを訓練し, (b) 妥当な時間で学習するための様々な手法を提案する。 論文参考訳（メタデータ） (Thu, 25 Aug 2022 13:55:16 GMT)
デンマーク語のT5モデルを普通のラボが持つ程度の環境で構築するための手法提案。使用したリソースは 「AMD EPYC 7252 8-Core CPUs×2、 128 GB of RAM、 NVIDIA A100 (40 GB RAM) ×4」のシングルノードとのことで、ノード間分散無し・複数GPUと大規模でない環境（複数ノードまでは持っていない or AWSで簡単に構築できる）として現実的なものだと思う。
Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks [87.6] 汎用多目的基礎モデルBEiT-3を紹介する。 視覚と視覚言語の両方のタスクで最先端の転送性能を達成する。 論文参考訳（メタデータ） (Mon, 22 Aug 2022 16:55:04 GMT)
vision、vision-languageの複数のタスクでSoTAを達成するfoundation model
Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.1] Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bを上回る。 論文参考訳（メタデータ） (Sun, 21 Aug 2022 01:00:54 GMT)
Role of Data Augmentation in Unsupervised Anomaly Detection [30.4] 自己教師付き学習(SSL)は、現実のタスクの監視信号を作成するための有望な代替手段として登場した。 近年の研究では、増強のタイプがパフォーマンスに重大な影響を与えることが報告されている。 論文参考訳（メタデータ） (Tue, 16 Aug 2022 13:09:25 GMT)