TabR

  • TabR: Unlocking the Power of Retrieval-Augmented Tabular Deep Learning [18.6]
    近年,テーブルデータの深層学習問題に対する検索モデルが提案されている。 既存の検索ベースソリューションは、適切に調整された単純な検索不要のベースラインに対して、マイナーな利点しか提供していないことを示す。 本研究は,注目型検索コンポーネントを備えた単純なフィードフォワードアーキテクチャを漸進的に拡張することで,この問題に対して強い肯定的な回答を与える。
    論文  参考訳(メタデータ)   (Wed, 26 Jul 2023 17:58:07 GMT)
  • テーブルデータに対して有効なretrieval-augmented tabular DL model、TabRを提案。有効を確認とのこと。テーブルデータに対してはDeep系モデルでXGB、LGB、Catboostに勝利するのはなかなか大変という印象はあるが、TabRはGBDTに勝ち越しているとのこと。(とはいえ「Tree-based models, in turn, remain a more efficient solution.」という記載はある)
  • リポジトリはGitHub – yandex-research/tabular-dl-tabr: The implementation of “TabR: Unlocking the Power of Retrieval-Augmented Tabular Deep Learning”

Capsa: DeepLearningのリスク認識フレームワーク

AlgoPerf: Training Algorithms benchmark / Benchmarking Neural Network Training Algorithms

  • Benchmarking Neural Network Training Algorithms [46.4]
    トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
    論文  参考訳(メタデータ)   (Mon, 12 Jun 2023 15:21:02 GMT)
  • トレーニングアルゴリズムの改善を測るためのベンチマークの提案。多くの研究者が慎重に検討しており論文も長く詳細。勉強になる。

Fruit Ripeness Classification

  • Fruit Ripeness Classification: a Survey [59.1]
    食品を格付けするための特徴記述子を多用する多くの自動的手法が提案されている。 機械学習とディープラーニング技術がトップパフォーマンスの手法を支配している。 ディープラーニングは生のデータで操作できるため、複雑なエンジニアリング機能を計算する必要がなくなる。
    論文  参考訳(メタデータ)   (Thu, 29 Dec 2022 19:32:20 GMT)
  • 果物の熟成度合いを判定するAIに関するサーベイ。(当たり前かもだが)この分野にもDeepLearningが浸透していることがわかる。

Survey on Evolutionary Deep Learning

  • Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues [14.2]
    本稿では、自動機械学習(AutoML)の観点から進化的深層学習(EDL)を解析することを目的とする。 DLパイプラインによると、我々は、機能工学、モデル生成、モデル展開から新しい分類法によるモデル展開まで、EDL手法を体系的に導入する。 主要なアプリケーション、オープンイシュー、将来の研究の有望なラインが提案されている。
    論文  参考訳(メタデータ)   (Tue, 23 Aug 2022 00:21:28 GMT)
    • AutoMLとEDL(Evolutionary Deep Learning)のサーベイ
    • EDLはFeature engineering、モデル構築時のParameter optimizationやArchitecture optimization、デプロイにおける効率化などに用いられているとのこと。

深層強化学習: 20分間で公園内の四足歩行を学習

  • A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning [86.1]
    深層強化学習は、制御されていない環境での学習ポリシーに対する有望なアプローチである。 機械学習アルゴリズムとライブラリの最近の進歩と、慎重に調整されたロボットコントローラを組み合わせることで、現実世界で20分で学習できる。
    論文  参考訳(メタデータ)   (Tue, 16 Aug 2022 17:37:36 GMT)
    • (4足歩行とはいえ)既存研究を組み合わせることで現実環境の歩行を20分で学習可能という報告。
      • 昔の苦労から考えるとすごい進化

Traveling Salesperson Problem + 深層強化学習

テーブルデータに対するTransfer Learning

  • Transfer Learning with Deep Tabular Models [66.7]
    正確性はさておき、ニューラルモデルの大きな利点は、再利用可能な機能を学び、新しいドメインで簡単に微調整できることだ。上流データにより、ニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 30 Jun 2022 14:24:32 GMT)

Deep Clusteringのサーベイ

  • A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions [49.0]
    クラスタリングは、文献で広く研究されている基本的な機械学習タスクである。 ディープクラスタリング(Deep Clustering)、すなわち表現学習とクラスタリングを共同で最適化する手法が提案され、コミュニティで注目を集めている。 深層クラスタリングの本質的なコンポーネントを要約し、深層クラスタリングと深層クラスタリングの相互作用を設計する方法によって既存の手法を分類する。
    論文  参考訳(メタデータ)   (Wed, 15 Jun 2022 15:05:13 GMT)
    • ありそうであまり見ない気がするDeep Clusteringのサーベイ。引用数246と大規模。

Learning Imbalanced Datasets with Maximum Margin Loss