タグ: NLU

ニューラル機械翻訳システムを中間に組み込んだNLUモデル

  • Modelling Latent Translations for Cross-Lingual Transfer [47.6]
    従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
    論文  参考訳（メタデータ）   (Fri, 23 Jul 2021 17:11:27 GMT)
    • NLU （Natural Language Understanding）タスクを解く際にニューラル機械翻訳を組み込むことでマルチリンガル性を得るモデルの提案。この手のタスクでは（大規模事前学習を行った）マルチリンガルモデルの採用が多いが機械翻訳の組み込みは妥当で効果的な構造のように思える。実際、マルチリンガルなタスクにおけるzero-shot、few-shotの結果も良い。
    • 論文中でMarianのJAに関する精度が著しく悪いのはHelsinki-NLP/Opus-MTの日本語関連のモデルのデータ量が足りていないためと思われる。（FuguMTを作った理由の一つでもある。）