タグ: ニューラル機械翻訳

SCALE: Specialized Translation Models (STMs) + general-purpose Large Language Models (LLMs)

  • SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.9]
    本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。 実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
    論文  参考訳（メタデータ）   (Fri, 29 Sep 2023 08:46:38 GMT)
  • 特化型の翻訳モデルと汎用的なLLMを併用する機械翻訳
  • STMからの翻訳草案をLLMでrefineするイメージ（？）、低リソースな言語に対して特に有効とのこと。

SeamlessM4T

  • SeamlessM4T-Massively Multilingual & Multimodal Machine Translation [90.7]
    音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。 我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。 FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。 
    論文  参考訳（メタデータ）   (Wed, 23 Aug 2023 21:02:01 GMT)
  • Metaによる多言語音声機械翻訳モデルでありS2ST(speech-to-speech translation), S2TT(speech-to-text translation), T2TT(text-to-text translation)＋ ASR(automatic speech recognition)に対応。音声からの機械翻訳でSoTAを主張。
  • 以下がリポジトリでモデルも公開されている。https://github.com/facebookresearch/seamless_communication　「seamless_communication is CC-BY-NC 4.0 licensed, as found in LICENSE file」とのこと。

Generating Adversarial Examples Robust to Round-Trip Translation

  • Lost In Translation: Generating Adversarial Examples Robust to Round-Trip Translation [66.3]
    本研究は, ラウンドトリップ翻訳における現在のテキスト対逆攻撃の堅牢性に関する包括的研究である。 筆者らは,現在最先端のテキストベースの6つの敵攻撃が,ラウンドトリップ翻訳後の有効性を維持していないことを実証した。 本稿では,機械翻訳を逆例生成のプロセスに組み込むことにより,この問題に対する介入に基づく解決策を提案する。
    論文  参考訳（メタデータ）   (Mon, 24 Jul 2023 04:29:43 GMT)
  • 多くのadversarial attacks 手法が機械翻訳システムを用いたラウンドトリップ翻訳（日→英→日のようにある言語を介して元の言語に戻す翻訳）下で有効性が減じるため、それを乗り越える手法を提案したとの報告。
  • 「We demonstrate that round trip translation can be used as a cheap and effective defence against current textual adversarial attacks.」というのは機械翻訳モデルを作っている側としては面白い話だが、「we find that round-trip translation defensive capabilities can be bypassed by our proposed attack-agnostic algorithm」というのにいたちごっこさ感じる。
  • リポジトリはGitHub – neelbhandari6/NMT_Text_Attack: This repository is the implementation of the paper ‘Lost In Translation’.

Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction

  • Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.1]
    アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
    論文  参考訳（メタデータ）   (Sun, 11 Jun 2023 23:27:47 GMT)
  • ILA: Indigenous Languages of the Americas、アメリカ大陸の先住民族の言語を対象とした機械翻訳に関するサーベイ。パラレルコーパスが少ない状況での構築手法が紹介されており参考になる。日本でも大事なトピックであり、技術的には近しいものが多いと感じる。

MobileNMT

  • MobileNMT: Enabling Translation in 15MB and 30ms [53.8]
    デバイス上で15MBと30msで翻訳できるMobileNMTを提案する。 モデルとエンジンの共設計により、既存のシステムと比較して47.0xのスピードを上げ、メモリの99.5%を節約し、BLEUの損失は11.6%に留まった。
    論文  参考訳（メタデータ）   (Wed, 7 Jun 2023 08:25:51 GMT)
  • 小規模で高速なニューラル機械翻訳モデルの提案
  • リポジトリはGitHub – zjersey/Lightseq-ARM

On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss

  • On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss [120.2]
    unsupervised neural machine translation (UNMT)は多くの言語で成功している。 コピー問題、すなわち、入力文の一部を翻訳として直接コピーする問題は、遠い言語対に共通している。 本稿では,言語識別器の損失を取り入れた,シンプルだが効果的な訓練スケジュールを提案する。
    論文  参考訳（メタデータ）   (Fri, 26 May 2023 18:14:23 GMT)
  • unsupervised neural machine translationをトライしているとあるあるな問題、コピーが出力されることに対する考察と対策の提案。
  • リポジトリはGitHub – yihongL1U/xlm_lang_dis

Chain-of-Dictionary Prompting Elicits Translation in Large Language Models  

  • Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [91.6]
    大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
    論文  参考訳（メタデータ）   (Thu, 11 May 2023 05:19:47 GMT)
  • LLMが機械翻訳出も優れた性能を出すことは知られており（というか初期のモチベーションの1つでもあり）、その性能を引き出すため辞書的な情報をプロンプトに入れる手法の提案
  • 多くの言語でテストしており非常に有望な結果。日本語では効果がなさそうな理由を知りたいところ。

The unreasonable effectiveness of few-shot learning for machine translation

  • The unreasonable effectiveness of few-shot learning for machine translation [45.5]
    我々は,高解像度と低解像度の両言語ペアに対して,未ペア言語データで訓練された少数ショット翻訳システムの可能性を実証する。 自己教師付き学習のみで訓練されたトランスフォーマーデコーダのみのモデルが、専門的な教師付き最先端モデルと一致することを示す。
    論文  参考訳（メタデータ）   (Thu, 2 Feb 2023 20:19:46 GMT)
  • Few-shotで特化型モデルを超えるというのはほんまかいな・・・という結果

TransFool

  • TransFool: An Adversarial Attack against Neural Machine Translation Models [49.5]
    敵攻撃に対するニューラルネットワーク翻訳(NMT)モデルの脆弱性を調査し,TransFoolと呼ばれる新たな攻撃アルゴリズムを提案する。 クリーンなサンプルと高いレベルのセマンティックな類似性を保ったソースコード言語で、流動的な逆の例を生成する。 自動的および人的評価に基づいて、TransFoolは、既存の攻撃と比較して成功率、意味的類似性、流布率の改善につながる。
    論文  参考訳（メタデータ）   (Thu, 2 Feb 2023 08:35:34 GMT)
  • ニューラル機械翻訳に対する（ホワイトボックスな）敵対的攻撃手法の提案。高い攻撃成功率を達成とのこと。「Our attack is also transferable to black-box settings with different structures and even different target languages.」という転送可能性があるというのが非常に面白い。本質的に解釈が難しい文が作れるとかなんだろうか。
  • コードはhttps://github.com/sssadrizadeh/TransFoolで公開予定とのことだが、現時点では404

Prompting Large Language Model for Machine Translation: A Case Study 

  • Prompting Large Language Model for Machine Translation: A Case Study [87.9]
    我々は機械翻訳戦略の推進に関する体系的研究を行っている。 本稿では,プロンプトテンプレートと実演例選択の要因について検討する。 本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
    論文  参考訳（メタデータ）   (Wed, 18 Jan 2023 11:30:05 GMT)
  • 機械翻訳のためのプロンプト戦略の検討
  • プロンプトテンプレートの作り方や最初の例の与え方が翻訳に大きく影響するようで、その点はそうだろうと思うが、一般的に有効な戦略を作るのはなかなか難しそうとの印象。