コンテンツへスキップ
- CitationIE: Leveraging the Citation Graph for Scientific Information Extraction [89.3]
科学的文書から重要な情報を自動抽出することは、科学者がより効率的に働き、科学的進歩のペースを加速するのに役立つ可能性がある。 引用論文と引用論文の参照リンクの引用グラフを使用する。 最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳（メタデータ） (Thu, 3 Jun 2021 03:00:12 GMT)
- SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training [45.1]
タブラルデータは、機械学習の多くのハイインパクトな応用を支えている。 近年のディープラーニング手法は、一般的な技術と競合する性能を達成している。 提案手法であるSAINTは,行と列の双方に注意を向ける。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 2 Jun 2021 17:51:05 GMT)- テーブルデータに対してTransformerを用いるという論文。データセットによってはLightGBMやXGBoost、CatBoostといった勾配ブースティング系の手法よりも精度が高いとのこと。下記のTabTransformerもだが表形式データに対してもDeep Learning系のアプローチが有効な場合があるのは興味深い。Transformerが有用な構造なのか、データセットがフィットしているだけなのかは謎。
- 同論文ではMLPが有効な場合があったり、XGB, LGBで差がありすぎのように思えるデータセットがあったりする（ハイパーパラメータの問題？）ので、最終的にはいろいろ試してみる事は必要なんだろうと思う。
- TabTransformer: Tabular Data Modeling Using Contextual Embeddings [23.5]
教師付きおよび半教師付き学習のための新しい深層データモデリングアーキテクチャであるTabTransformerを提案する。 トランスフォーマー層はカテゴリの特徴の埋め込みをロバストなコンテキスト埋め込みに変換し、高い予測精度を達成する。 半教師付き環境では、データ駆動型コンテキスト埋め込みを学習するための教師なし事前学習手法を開発し、その結果、最先端の手法を平均2.1%のAUCリフトする。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 11 Dec 2020 23:31:23 GMT)
- Reinforcement Learning as One Big Sequence Modeling Problem [84.8]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳（メタデータ） (Thu, 3 Jun 2021 17:58:51 GMT)- 強化学習を系列データのモデリング問題として扱うという論文。前回のものと同じ発想。前とは別グループっぽいので有用なアプローチなのかもしれない。