コンテンツへスキップ
- A Survey on Efficient Training of Transformers [72.3]
この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
論文 参考訳（メタデータ） (Thu, 2 Feb 2023 13:58:18 GMT)
- 非常に広く用いられているTransformerについて効率的に学習を行うためのサーベイ。11ページ、引用数87と短め。
- GPT-3の学習コストが335 GPU-year、$4.6Mと推測されているとのことで、巨大なモデルを作ろうと思う場合はこの手の手法をよく調査する必要がある。
- A survey and taxonomy of loss functions in machine learning [60.4]
ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
論文 参考訳（メタデータ） (Fri, 13 Jan 2023 14:38:24 GMT)
- 機械学習におけるロス関数のサーベイ。これだけの内容を整理した論文（資料）はあまり見かけない気がしていて、考え方や狙いを整理するために有用。
- Data Distillation: A Survey [8.5]
ディープラーニングは、膨大な数の大規模および多言語データセットのキュレーションにつながった。 個々のタスクで人間に近いパフォーマンスを持つにもかかわらず、大規模なデータセットでパラメータハングリーモデルをトレーニングすることは、多面的な問題を引き起こす。 データ蒸留アプローチは、元のデータセットの効果的なドロップイン置換として機能する、簡潔なデータ要約を合成することを目的としている。
論文 参考訳（メタデータ） (Wed, 11 Jan 2023 02:25:10 GMT)
- Data-centric AI: Perspectives and Challenges [51.7]
データ中心AI(DCAI)は、モデル進歩からデータ品質と信頼性の確保への根本的なシフトを提唱している。 データ開発、評価データ開発、データメンテナンスの3つの一般的なミッションをまとめる。 今後の探索を動機付けるためのオープンな課題をリストアップする。
論文 参考訳（メタデータ） (Thu, 12 Jan 2023 05:28:59 GMT)
- Data-centric AIに関する解説。5ページと短いが、Training Data Development, Evaluation Data Development, Data Maintenaceに分けて概要と動向を解説している。
- Parsing Objects at a Finer Granularity: A Survey [54.7]
微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。 卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。 我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
論文 参考訳（メタデータ） (Wed, 28 Dec 2022 04:20:10 GMT)
- 単純な物体認識ではなくさらに細かく物体を識別を行うfine-grained recognition や part segmentationのサーベイ
- A Survey on Table-and-Text HybridQA: Concepts, Methods, Challenges and Future Directions [46.1]
表とテキストのハイブリッドな質問応答 (HybridQA) は、金融分野や科学分野に広く採用されているNLPタスクである。 本稿では,現在のHybridQAベンチマークと手法を要約し,課題と今後の方向性について分析する。
論文 参考訳（メタデータ） (Tue, 27 Dec 2022 12:34:57 GMT)
- 表+テキストを対象とした質問応答タスクのサーベイ
- 実用性が高いがまだまだ簡単ではないタスク
- A Survey of Face Recognition [25.6]
本稿では,その歴史,パイプライン,従来の手動設計機能やディープラーニングに基づくアルゴリズム,主流トレーニング,評価,データセット,関連するアプリケーションなど,顔認識について紹介する。 我々は、できるだけ多くの最先端の作業を分析し比較し、またバックボーンサイズとデータ分布の影響を調べるために、実験セットを慎重に設計した。
論文 参考訳（メタデータ） (Mon, 26 Dec 2022 08:36:58 GMT)
- A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability [13.3]
データ拡張(DA)は、現代の機械学習やディープニューラルネットワークでは不可欠である。 本研究では、MixDA (Mix-based Data Augmentation) が必須のサブセットについてレビューする。 単一サンプルの操作やドメイン知識を必要とする従来のDAアプローチとは異なり、MixDAはより幅広い新しいデータを作成するのに一般的である。
論文 参考訳（メタデータ） (Wed, 21 Dec 2022 09:58:14 GMT)
- データ拡張の中でも複数のデータを混合するアプローチであるMix-based Data Augmentation (MixDA)のサーベイ
- リポジトリはGitHub – ChengtaiCao/Awesome-Mix: A curated list of awesome Mix