日: 2021年8月26日

GNNをトリック込みで評価するベンチマーク

  • Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.3]
    ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
    論文  参考訳（メタデータ）   (Tue, 24 Aug 2021 05:00:37 GMT)
    • deep graph neural networksのトレーニングは難しく、skip connections、graph normalization、random droppingなど様々なテクニックが用いられている。それらを込みで評価するベンチマークを提案。
    • リポジトリはhttps://github.com/VITA-Group/Deep_GCN_Benchmarking

マルチリンガルモデルの効果、RemBERTがHugging Faceに

  • Are the Multilingual Models Better? Improving Czech Sentiment with Transformers [1.5]
    チェコ語における極性検出の課題を3つの感情極性データセットを用いて検討する。 我々は5つの多言語モデルと3つの単言語モデルを用いて微調整および実験を行う。 3つのデータセットすべてに対して、最先端の新たな結果が得られます。
    論文  参考訳（メタデータ）   (Tue, 24 Aug 2021 10:50:01 GMT)
    • チェコ語のセンチメント分析においてXLM-R-Largeがモノリンガルモデルを上回る性能を出したとの報告。マルチリンガルモデルの有効性を示していて、言語資源が少ない日本語にも参考になる結果のように思える。
  • 性能の良い事前学習済みマルチリンガルモデルモデルであるRemBERTがHuggngfaceに取り込まれており、このようなモデルの利用も広まっていくのだと思う。いまのところ日本語はT5などBERT以降の構造＆モノリンガル大規模事前学習モデルで公開されているものが存在する。とはいえ、データセットの規模等を考えると海外研究機関のマルチリンガルモデルより上の性能を出し続けられるかは難しい気がしなくもない。
  • FuguMTのためにクロールしたデータセットでバイリンガル版T5とか作ろうかと思わなくもないがコスト的につらいなーと思う最近。