コンテンツへスキップ
- A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.3]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (Tue, 6 Jun 2023 15:44:14 GMT)
- 小規模データでの学習方法に関すルサーベイ。 2ページの図1にある整理軸が参考になる。
- Art and the science of generative AI: A deeper dive [26.7]
生成AIは、ビジュアルアート、コンセプトアート、音楽、フィクション、文学、ビデオ、アニメーションのための高品質な芸術メディアを作成することができる。 我々は、生成的AIは芸術の終焉の前兆ではなく、独自の余裕を持つ新しい媒体であると主張している。
論文 参考訳（メタデータ） (Wed, 7 Jun 2023 04:27:51 GMT)
- 生成AIがアートに与える影響を考察した論文
- 法的な扱いなど諸条件は日本とは異なるが興味深い論文、特に経済的な視点が入ってるのが面白かった
- Machine Unlearning: A Survey [56.8]
プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。 この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。 この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。 この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
論文 参考訳（メタデータ） (Tue, 6 Jun 2023 10:18:36 GMT)
- Machine Unlearningに関するサーベイ論文、最初に他のサーベイとの比較があるのが面白い。重要技術の包括的なサーベイという印象で引用数も100超。
- A Survey on Efficient Training of Transformers [72.3]
この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
論文 参考訳（メタデータ） (Thu, 4 May 2023 01:23:12 GMT)
- Transformerの効率的な学習に関するサーベイ、ver3
- A Survey on Out-of-Distribution Detection in NLP [115.5]
現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
論文 参考訳（メタデータ） (Fri, 5 May 2023 01:38:49 GMT)
- NLPにおけるOOD検出のサーベイ。ざっくりと知るには良い内容。
- 自然言語処理なAIをデプロイするときには欲しくなり、LLM時代に重要性がさらに増す分野な予感。
- Visual Tuning [141.9]
微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
論文 参考訳（メタデータ） (Wed, 10 May 2023 11:26:36 GMT)
- 下流タスクへの適合方法を扱ったサーベイ。研究が盛んな分野であり、非常に参考になる。
- Table 2 A comprehensive review and classification of visual tuning methods.が良く、fine-tuning、prompt tuning、adapter tuning、parameter tuning、remapping tuningと多様な手法が紹介されている。
- A Survey of Adversarial Defences and Robustness in NLP [26.3]
深層ニューラルネットワークは、入力データにおける敵の摂動に耐えるほど弾力性がないことが、ますます明らかになっている。 NLPにおける敵防御のためのいくつかの手法が提案され、異なるNLPタスクに対応している。 本調査は,過去数年間にNLPにおける敵防衛のために提案された様々な手法を,新しい分類法を導入して検討することを目的とする。
論文 参考訳（メタデータ） (Tue, 18 Apr 2023 05:00:29 GMT)
- NLPにおける敵対的攻撃への防御に関するサーベイ
- conclusionがサーベイ自体のサマリになっておりざっくりと説明するには良い資料な気がする
- A Systematic Survey of Chemical Pre-trained Models [38.6]
ディープニューラルネットワーク(DNN)をスクラッチからトレーニングするには、しばしば大量のラベル付き分子を必要とする。 この問題を緩和するため、分子事前学習モデル(CPM)に多大な努力が注がれている。 CPMは、大規模未ラベルの分子データベースを使用して事前訓練され、特定の下流タスクに対して微調整される。
論文 参考訳（メタデータ） (Thu, 27 Apr 2023 03:30:37 GMT)
- 分子の表現のように化学分野の事前学習モデルのサーベイ