コンテンツへスキップ
- X-volution: On the unification of convolution and self-attention [52.8]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-volutionは、非常に競争力のある視覚的理解の改善を実現する。
論文 参考訳（メタデータ） (Fri, 4 Jun 2021 04:32:02 GMT)- 畳み込み + Self-attentionによって局所的および非局所的特徴相互作用を統一。ベースラインに対してimagenet分類における+1.2% top-1精度、+1.7 box ap、coco検出とセグメンテーションにおける+1.5 mask apを実現したとのこと。
- 組み合わる系の成果。この手の話も増えていくのだろうと思う。
- MERLOT: Multimodal Neural Script Knowledge Models [74.1]
我々はMERLOTを紹介した。MERLOTは、翻訳された音声で何百万ものYouTubeビデオを視聴することで、マルチモーダルなスクリプト知識を学習するモデルである。 MERLOTは、時間的コモンセンスの強力なアウトオブボックス表現を示し、12の異なるビデオQAデータセット上で最先端のパフォーマンスを達成する。 Visual Commonsense Reasoning では、MERLOT が80.6%の精度で正解し、同じ大きさの最先端のモデルを3%以上上回っている。
論文 参考訳（メタデータ） (Fri, 4 Jun 2021 17:57:39 GMT)- マルチモーダル事前学習モデル。ファインチューニングによって多くのタスクでsota。性能の向上幅も大きい。
- Conversational Question Answering: A Survey [18.4]
本調査は,会話質問回答(CQA)の最先端研究動向を包括的に概観する試みである。 この結果から,会話型AIの分野をさまざまな観点から活性化する1ターンから多ターンQAへの傾向が示唆された。
論文 参考訳（メタデータ） (Wed, 2 Jun 2021 01:06:34 GMT)- 会話関連の質問回答タスクのサーベイ。46ページと広範にわたるものであり、カテゴライズなども参考になる。
- CitationIE: Leveraging the Citation Graph for Scientific Information Extraction [89.3]
科学的文書から重要な情報を自動抽出することは、科学者がより効率的に働き、科学的進歩のペースを加速するのに役立つ可能性がある。 引用論文と引用論文の参照リンクの引用グラフを使用する。 最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳（メタデータ） (Thu, 3 Jun 2021 03:00:12 GMT)
- SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training [45.1]
タブラルデータは、機械学習の多くのハイインパクトな応用を支えている。 近年のディープラーニング手法は、一般的な技術と競合する性能を達成している。 提案手法であるSAINTは,行と列の双方に注意を向ける。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 2 Jun 2021 17:51:05 GMT)- テーブルデータに対してTransformerを用いるという論文。データセットによってはLightGBMやXGBoost、CatBoostといった勾配ブースティング系の手法よりも精度が高いとのこと。下記のTabTransformerもだが表形式データに対してもDeep Learning系のアプローチが有効な場合があるのは興味深い。Transformerが有用な構造なのか、データセットがフィットしているだけなのかは謎。
- 同論文ではMLPが有効な場合があったり、XGB, LGBで差がありすぎのように思えるデータセットがあったりする（ハイパーパラメータの問題？）ので、最終的にはいろいろ試してみる事は必要なんだろうと思う。
- TabTransformer: Tabular Data Modeling Using Contextual Embeddings [23.5]
教師付きおよび半教師付き学習のための新しい深層データモデリングアーキテクチャであるTabTransformerを提案する。 トランスフォーマー層はカテゴリの特徴の埋め込みをロバストなコンテキスト埋め込みに変換し、高い予測精度を達成する。 半教師付き環境では、データ駆動型コンテキスト埋め込みを学習するための教師なし事前学習手法を開発し、その結果、最先端の手法を平均2.1%のAUCリフトする。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 11 Dec 2020 23:31:23 GMT)
- Reinforcement Learning as One Big Sequence Modeling Problem [84.8]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳（メタデータ） (Thu, 3 Jun 2021 17:58:51 GMT)- 強化学習を系列データのモデリング問題として扱うという論文。前回のものと同じ発想。前とは別グループっぽいので有用なアプローチなのかもしれない。
- Decision Transformer: Reinforcement Learning via Sequence Modeling [102.9]
本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。 その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
論文 参考訳（メタデータ） (Wed, 2 Jun 2021 17:53:39 GMT)- 強化学習のタスクを言語モデル風に解くという論文。性能が良く、強化学習の一部にTransformerを使うというアーキテクチャでもないのが驚き。MLPで良いのでは？という論文も出ているが、やはりTransformerは優れた構造なのかなと思う。
- Incorporating Visual Layout Structures for Scientific Text Classification [31.2]
本研究では,VILA(Visual LAyout Structure)の新たな手法として,ページテキストをテキスト行やテキストブロックにグループ化する手法を言語モデルに導入する。 モデル入力にレイアウト構造の境界を示す特別なトークンを追加するI-VILAアプローチは、トークン分類タスクにおいて+14.5 F1のスコア改善をもたらす可能性があることを示す。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 1 Jun 2021 17:59:00 GMT)
- Can Attention Enable MLPs To Catch Up With CNNs? [33.7]
多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。 新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
論文 参考訳（メタデータ） (Mon, 31 May 2021 16:08:46 GMT)- 最近のアーキテクチャを概説する論文。Long distance interactions, Local semantic information, Residual connections, Reduced inductive biasなど重要要素の取り扱いが記載されており、新しいアーキテクチャは従来のMLPではなく大きな進歩があると結論している。
- ByT5: Towards a token-free future with pre-trained byte-to-byte models [23.5]
最も広く使われている事前訓練言語モデルは、単語またはサブワード単位に対応するトークンのシーケンスで動作する。 標準的な Transformer アーキテクチャは,バイト列の処理に最小限の修正を加えて使用できることを示す。 また、バイトレベルのモデルはノイズに対して著しく堅牢であり、スペルや発音に敏感なタスクでも性能が向上することを示した。
論文 参考訳（メタデータ） (Fri, 28 May 2021 07:03:22 GMT)