日: 2021年7月7日

ERNIE 3.0、SuperGLUEトップの事前学習モデル

  • ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation [25.4]
    大規模知識強化モデルの事前学習のための統合フレームワーク ERNIE 3.0 を提案する。 自動回帰ネットワークと自動エンコードネットワークを融合することで、トレーニングされたモデルを自然言語理解と生成タスクの両方に容易に適合させることができる。 我々は,テキストと大規模知識グラフからなる4TBコーパス上で,100億のパラメータでモデルを訓練した。
    論文  参考訳（メタデータ）   (Mon, 5 Jul 2021 16:54:59 GMT)
    • SuperGLUE で1位となったERNIE3.0の報告。4TBコーパス、100億パラメータのモデルとのこと。SuperGLUEのトップは素晴らしい性能。
    • 自然言語処理関連ではアメリカと中国で激しい競争となっていて、それを象徴する成果のように思う。

DeepRapper: 深層学習によるラップ生成

  • DeepRapper: Neural Rap Generation with Rhyme and Rhythm Modeling [102.5]
    ラップ生成におけるこれまでの研究は、韻律的な歌詞に重点を置いていたが、ラップ演奏に重要なリズムビートを無視していた。 本稿では,韻とリズムの両方をモデル化可能なトランスフォーマーベースのラップ生成システムであるDeepRapperを開発する。
    論文  参考訳（メタデータ）   (Mon, 5 Jul 2021 09:01:46 GMT)
    • Deep Learningでラップ生成、DeepRapperという面白い報告。
    • 単純な歌詞生成ではなく rhyme and rhythm（韻とリズム）を考慮した生成が可能とのこと。