コンテンツへスキップ
- Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A Survey [51.8]
安全・責任・モダル対話システム構築に向けた研究範囲の新たな視点を提示する。 本稿では,1)虐待的・有害な内容,2)不公平・差別,3)倫理的・道徳的問題,および4)誤認・プライバシー情報のリスクについて論じる。
論文 参考訳（メタデータ） (Sat, 18 Feb 2023 09:32:55 GMT)
- 最近話題の対話システムに対して社会実装上避けては通れない要素のサーベイ
- 5章のトレンドも参考になる
- 1) explainable safety monitoring
- 2) continuous learning of safety issues
- 3) robustness against malicious attacks
- 4) multimodal information processing
- 5) unified research framework
- 6) multidisciplinary theory integration
- Transformer models: an introduction and catalog [1.4]
本論文の目的は,最もポピュラーなTransformerモデルのカタログと分類を提供することである。 論文には、Transformerモデルにおける最も重要な側面とイノベーションの紹介も含まれている。
論文 参考訳（メタデータ） (Thu, 16 Feb 2023 05:31:15 GMT)
- Transformerのカタログ
- モデルカード的な情報がありがたいのと、 Date (of first known publication)があるのが非常に助かる
- Augmented Language Models: a Survey [56.0]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (Wed, 15 Feb 2023 18:25:52 GMT)
- CoTのようなサブタスク化した上での推論、外部知識の利用、データベース検索、ツールの利用など大規模言語モデルを拡張するアプローチのサーベイ。reasoning がAugmentedなのか？という問いには「 reasoning is a way for LMs to combine different tools in order to solve complex tasks, and tools are a way to not fail a reasoning with valid decomposition.」との記載があり、分けて語るべきではないという見解？
- Weakly Supervised Anomaly Detection: A Survey [75.3]
異常検出(AD)は、さまざまなアプリケーションによる機械学習において重要なタスクである。 弱教師付き異常検出法(WSAD)の総合的な調査を行った。 各設定に対して、正式な定義、鍵アルゴリズム、潜在的な将来の方向性を提供する。
論文 参考訳（メタデータ） (Thu, 9 Feb 2023 10:27:21 GMT)
- 弱教師有り設定の異常検知（WSAD: Weakly Supervised Anomaly Detection）に関するサーベイ
- 異常検知はアノテーションが難しいことが多く、通常の教師有り学習をしにくいことが多い。かといって単純に教師無し学習を適用すると精度的な問題を抱える事も多い。直接的ではないが何らかの情報を与える弱教師ありのようなアプローチは非常に有望だと思う。
- Federated Analytics: A survey [21.8]
Federated Analytics(FA)は、複数のリモートパーティでデータ分析を計算するための、プライバシ保護フレームワークである。 本稿では,フェデレーション分析の特徴と,フェデレーション学習との違いについて論じる。
論文 参考訳（メタデータ） (Thu, 2 Feb 2023 18:56:24 GMT)
- プライバシー保護や資源の節約などの理由で限られたデータのみを集約して分析するFederated Analyticsのサーベイ。基本的な話から始まり、Taxonomy、Algorithm、Challenge & Open Oppotunityと整理されている。
- federated analyticsは federated learningよりより一般化されたもので、基本的な分析を含むとのこと。
- A Survey on Efficient Training of Transformers [72.3]
この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
論文 参考訳（メタデータ） (Thu, 2 Feb 2023 13:58:18 GMT)
- 非常に広く用いられているTransformerについて効率的に学習を行うためのサーベイ。11ページ、引用数87と短め。
- GPT-3の学習コストが335 GPU-year、$4.6Mと推測されているとのことで、巨大なモデルを作ろうと思う場合はこの手の手法をよく調査する必要がある。
- A survey and taxonomy of loss functions in machine learning [60.4]
ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
論文 参考訳（メタデータ） (Fri, 13 Jan 2023 14:38:24 GMT)
- 機械学習におけるロス関数のサーベイ。これだけの内容を整理した論文（資料）はあまり見かけない気がしていて、考え方や狙いを整理するために有用。
- Data Distillation: A Survey [8.5]
ディープラーニングは、膨大な数の大規模および多言語データセットのキュレーションにつながった。 個々のタスクで人間に近いパフォーマンスを持つにもかかわらず、大規模なデータセットでパラメータハングリーモデルをトレーニングすることは、多面的な問題を引き起こす。 データ蒸留アプローチは、元のデータセットの効果的なドロップイン置換として機能する、簡潔なデータ要約を合成することを目的としている。
論文 参考訳（メタデータ） (Wed, 11 Jan 2023 02:25:10 GMT)
- Data-centric AI: Perspectives and Challenges [51.7]
データ中心AI(DCAI)は、モデル進歩からデータ品質と信頼性の確保への根本的なシフトを提唱している。 データ開発、評価データ開発、データメンテナンスの3つの一般的なミッションをまとめる。 今後の探索を動機付けるためのオープンな課題をリストアップする。
論文 参考訳（メタデータ） (Thu, 12 Jan 2023 05:28:59 GMT)
- Data-centric AIに関する解説。5ページと短いが、Training Data Development, Evaluation Data Development, Data Maintenaceに分けて概要と動向を解説している。