コンテンツへスキップ
- Diffusion Models in Vision: A Survey [80.8]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (Thu, 23 Mar 2023 11:42:58 GMT)
- 非常にはやっているDiffusionモデルのサーベイ
- タスクも手法も非常に多く把握するのが大変な状況。。。
- Open-world Story Generation with Structured Knowledge Enhancement: A Comprehensive Survey [25.9]
本稿では,既存の手法が構造的知識をストーリー生成にどのように統合するかについて,体系的な分類法を提案する。 知識に富んだストーリー生成の課題について多次元的な洞察を与える。
論文 参考訳（メタデータ） (Fri, 24 Mar 2023 13:20:05 GMT)
- ストーリー生成に関するサーベイ
- LLMでかなりの部分ができるようになってきたのではないか？と思いつつ、歴史を振り返るのはとても大事
- Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning [16.1]
タスクのセマンティクスは入力から出力までの例のセットやテキストによる命令で表現できる。 コミュニティは、NLPの新しい監視-探索パラダイム、すなわちタスク命令から学ぶことに、ますます関心を払っている。
論文 参考訳（メタデータ） (Tue, 21 Mar 2023 01:27:16 GMT)
- PromptのようなInstruction Learningのサーベイ
- 新興分野でもありまた現在の流行の中で重要な要素でもあり、歴史を振り返る上でも参考になる
- A Survey on Long Text Modeling with Transformers [33.9]
本稿では,Transformerモデルに基づく長文モデリングの最近の進歩について概説する。 長さ制限を満たすために長い入力を処理し、改良されたTransformerアーキテクチャを設計する方法について論じる。 本稿では,長文モデリングに関わる4つの典型的な応用について述べるとともに,今後の方向性を議論する。
論文 参考訳（メタデータ） (Tue, 28 Feb 2023 11:34:30 GMT)
- 長文モデリングに関するサーベイ。近年の研究成果で緩和されている部分も大きいが以前重要なテーマ。
- 対象としている典型的な応用はテキスト要約、質問応答、テキスト分類、テキストマッチングの4つ。
- Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [49.6]
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。 次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
論文 参考訳（メタデータ） (Mon, 20 Feb 2023 15:34:03 GMT)
- LLMがとても盛り上がっているが、次に控える大規模マルチモーダル事前学習モデルに関するサーベイ
- 扱うモダリティはText+ImageまたはVideoのようにCVとの組み合わせが多そうではあり、次の分野として有望そうな感じだが、さらに複数のモダリティを組み合わせているものもある
- Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A Survey [51.8]
安全・責任・モダル対話システム構築に向けた研究範囲の新たな視点を提示する。 本稿では,1)虐待的・有害な内容,2)不公平・差別,3)倫理的・道徳的問題,および4)誤認・プライバシー情報のリスクについて論じる。
論文 参考訳（メタデータ） (Sat, 18 Feb 2023 09:32:55 GMT)
- 最近話題の対話システムに対して社会実装上避けては通れない要素のサーベイ
- 5章のトレンドも参考になる
- 1) explainable safety monitoring
- 2) continuous learning of safety issues
- 3) robustness against malicious attacks
- 4) multimodal information processing
- 5) unified research framework
- 6) multidisciplinary theory integration
- Transformer models: an introduction and catalog [1.4]
本論文の目的は,最もポピュラーなTransformerモデルのカタログと分類を提供することである。 論文には、Transformerモデルにおける最も重要な側面とイノベーションの紹介も含まれている。
論文 参考訳（メタデータ） (Thu, 16 Feb 2023 05:31:15 GMT)
- Transformerのカタログ
- モデルカード的な情報がありがたいのと、 Date (of first known publication)があるのが非常に助かる
- Augmented Language Models: a Survey [56.0]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (Wed, 15 Feb 2023 18:25:52 GMT)
- CoTのようなサブタスク化した上での推論、外部知識の利用、データベース検索、ツールの利用など大規模言語モデルを拡張するアプローチのサーベイ。reasoning がAugmentedなのか？という問いには「 reasoning is a way for LMs to combine different tools in order to solve complex tasks, and tools are a way to not fail a reasoning with valid decomposition.」との記載があり、分けて語るべきではないという見解？
- Weakly Supervised Anomaly Detection: A Survey [75.3]
異常検出(AD)は、さまざまなアプリケーションによる機械学習において重要なタスクである。 弱教師付き異常検出法(WSAD)の総合的な調査を行った。 各設定に対して、正式な定義、鍵アルゴリズム、潜在的な将来の方向性を提供する。
論文 参考訳（メタデータ） (Thu, 9 Feb 2023 10:27:21 GMT)
- 弱教師有り設定の異常検知（WSAD: Weakly Supervised Anomaly Detection）に関するサーベイ
- 異常検知はアノテーションが難しいことが多く、通常の教師有り学習をしにくいことが多い。かといって単純に教師無し学習を適用すると精度的な問題を抱える事も多い。直接的ではないが何らかの情報を与える弱教師ありのようなアプローチは非常に有望だと思う。