タグ: 機械翻訳

AUTOMQM

  • The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.0]
    AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 17:17:21 GMT)
  • 機械翻訳の評価にLLMを使う手法の提案
  • system level / segment level、fine tuning有無、モデル差など多角的な検証がされており興味深い 

TIM: Teaching Large Language Models to Translate with Comparison

  • TIM: Teaching Large Language Models to Translate with Comparison [52.8]
    本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
    論文  参考訳（メタデータ）   (Mon, 10 Jul 2023 08:15:40 GMT)
  • 正しい翻訳と間違った翻訳間のpreference loss を導入してLLMの翻訳性能を上げる手法の提案。通常のfine tuningにくらべ優れた性能を発揮。新たな言語へのZero-shot Translation能力も向上している点も興味深い。他のタスクのマルチリンガル性能への影響も気になるところ。
  • リポジトリはGitHub – lemon0830/TIM: code for Teaching LM to Translate with Comparison

MobileNMT

  • MobileNMT: Enabling Translation in 15MB and 30ms [53.8]
    デバイス上で15MBと30msで翻訳できるMobileNMTを提案する。 モデルとエンジンの共設計により、既存のシステムと比較して47.0xのスピードを上げ、メモリの99.5%を節約し、BLEUの損失は11.6%に留まった。
    論文  参考訳（メタデータ）   (Wed, 7 Jun 2023 08:25:51 GMT)
  • 小規模で高速なニューラル機械翻訳モデルの提案
  • リポジトリはGitHub – zjersey/Lightseq-ARM

On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss

  • On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss [120.2]
    unsupervised neural machine translation (UNMT)は多くの言語で成功している。 コピー問題、すなわち、入力文の一部を翻訳として直接コピーする問題は、遠い言語対に共通している。 本稿では,言語識別器の損失を取り入れた,シンプルだが効果的な訓練スケジュールを提案する。
    論文  参考訳（メタデータ）   (Fri, 26 May 2023 18:14:23 GMT)
  • unsupervised neural machine translationをトライしているとあるあるな問題、コピーが出力されることに対する考察と対策の提案。
  • リポジトリはGitHub – yihongL1U/xlm_lang_dis

Chain-of-Dictionary Prompting Elicits Translation in Large Language Models  

  • Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [91.6]
    大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
    論文  参考訳（メタデータ）   (Thu, 11 May 2023 05:19:47 GMT)
  • LLMが機械翻訳出も優れた性能を出すことは知られており（というか初期のモチベーションの1つでもあり）、その性能を引き出すため辞書的な情報をプロンプトに入れる手法の提案
  • 多くの言語でテストしており非常に有望な結果。日本語では効果がなさそうな理由を知りたいところ。

ParroT: ChatGPTスタイルの翻訳システム

Large language models effectively leverage document-level context for literary translation, but critical errors persist

  • Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.5]
    大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。 我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
    論文  参考訳（メタデータ）   (Thu, 6 Apr 2023 17:27:45 GMT)
  • GPT-3.5を用いて文レベル、段落レベルの翻訳を検証した論文。18言語ペア（日本語含む）と広い検証で人間による評価が行われていることも特徴的。（一方で有名な作品を利用するのはリークの危険が…という気もしている。）
  • リポジトリはGitHub – marzenakrp/LiteraryTranslation

Hallucinations in Large Multilingual Translation Models

  • Hallucinations in Large Multilingual Translation Models [70.1]
    大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
    論文  参考訳（メタデータ）   (Tue, 28 Mar 2023 16:17:59 GMT)
  • 最近よく話題になるHallucinationについて多言語翻訳の観点で分析した論文。ChatGPTの検証も行っている。
  • 多言語翻訳モデルでは（当然ながら）リソースの少ない言語に対してHallucinationが多発するが、ChatGPTではむしろ中リソースの言語に対して問題が多く行るのが興味深い。Hallucinationの緩和としてfallback systemを使う場合、同じトレーニングデータとアーキテクチャを共有するモデルでは効果が薄く別の外部システムを使うことが有効としている。

機械翻訳におけるScaling Law

  • Scaling Laws for Multilingual Neural Machine Translation [45.6]
    モデルサイズの増加がモデル性能に与える影響について検討し,スケーリング行動におけるトレーニング混合物組成の役割について検討した。 学習混合物中の個々の言語ペアの重み付けの変化は,スケーリング法則の乗法的要因にのみ影響することがわかった。 我々は、どんな言語重み付けでも訓練された多言語モデルの性能を予測するために、我々の観測を活用している。
    論文  参考訳（メタデータ）   (Sun, 19 Feb 2023 18:43:24 GMT)
  • マルチリンガルな機械翻訳におけるScaling Lawの検証結果。興味深い結果が多いが近しい言語のマルチリンガル翻訳は効果が大きいという説に対して「(En→{De, Fr})への翻訳を訓練したモデルと、非関連言語(En→{De, Zh})で訓練したモデルのスケーリング挙動に有意な差はみられない。」という結果は面白い。
  • staka/takomt · Hugging Faceとか個人でやるには結構大変で当面はJA⇔ENに注力しようと思っているがとても面白い論文。

ChatGPTと翻訳

  • Is ChatGPT A Good Translator? A Preliminary Study [39.2]
    翻訳能力を高めるためにChatGPTが推奨するプロンプトを採用する。 多くのベンチマークテストセットを評価することで、ChatGPTは商用翻訳製品と競争的に機能することがわかった。 ChatGPTは、生物医学の要約やRedditのコメントに関する商業システムのようには機能しない。
    論文  参考訳（メタデータ）   (Fri, 20 Jan 2023 08:51:36 GMT)
  • ChatGPTの翻訳性能を評価した論文。一般的にリソースが多いといわれている言語ペア（おそらくChatGPTの学習データに多い言語）についてはかなりの性能だが、そうでない言語は苦手としているよう。また、頑健性の意味でもイマイチな結果となっている。
  • とはいえ、Promptのみでの機械翻訳だと考えればかなり性能が高いという評価もできそう