Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions

  • Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [53.0]
    LINGOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
    論文  参考訳(メタデータ)   (Wed, 28 Feb 2024 03:44:01 GMT)
  • 形態素解析した結果と単語単位の辞書情報をLLMに入れることで未知の言語の翻訳ができたという論文。Geminiの事例を彷彿とさせ、LLMの指示理解力&高い言語能力が興味深い。
  • リポジトリはLLiLab/llm4endangeredlang (github.com)

GenTranslate

ACES: Translation Accuracy ChallengE Set

  • Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.4]
    ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
    論文  参考訳(メタデータ)   (Mon, 29 Jan 2024 17:17:42 GMT)
  • 機械翻訳に関する評価手法に対するベンチマーク。当然といえば当然だがBLEUのスコアが非常に低い。「we advise the reader not to draw any conclusions based solely on the ACES-Score」とは書かれているものの・・・。
  • リポジトリはnikitam/ACES · Datasets at Hugging Face、ライセンスはCreative Commons Attribution Non-Commercial Share Alike 4.0 (cc-by-nc-sa-4.0)

Adapting Large Language Models for Document-Level Machine Translation

  • Adapting Large Language Models for Document-Level Machine Translation [49.7]
    大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。 近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
    論文  参考訳(メタデータ)   (Fri, 12 Jan 2024 09:29:13 GMT)
  • LLMの機械翻訳への応用。fine tuningの効果など実験結果が多く参考になる。
  • 「We find that the PEFT approach yields superior overall performance compared to the FFT approach」(ただしFFTのほうがデータ効率は高いとのこと)がとても興味深い

Machine Translation Models are Zero-Shot Detectors of Translation Direction

  • Machine Translation Models are Zero-Shot Detectors of Translation Direction [52.2]
    平行テキストの翻訳方向を検出することは、機械翻訳訓練や評価に応用できるが、盗作や偽造の主張を解消するといった法医学的応用もある。 本研究では,翻訳文や機械翻訳文でよく知られた単純化効果によって動機付けられた,p(texttranslation|text Origin)>p(textgenic|texttranslation)という単純な仮説に基づいて,翻訳方向検出のための教師なしアプローチを検討する。
    論文  参考訳(メタデータ)   (Fri, 12 Jan 2024 18:59:02 GMT)
  • ある言語の文とそこからある言語に翻訳されれた文があったとき、翻訳の方向を検出する手法の提案。とてもシンプルな仮定だがうまくいくよう。(言語的に遠い場合でも大丈夫なのかは興味がある)
  • リポジトリはZurichNLP/translation-direction-detection: Unsupervised translation direction detection using NMT systems (github.com)

Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models

SCALE: Specialized Translation Models (STMs) + general-purpose Large Language Models (LLMs)

  • SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.9]
    本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。 実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
    論文  参考訳(メタデータ)   (Fri, 29 Sep 2023 08:46:38 GMT)
  • 特化型の翻訳モデルと汎用的なLLMを併用する機械翻訳
  • STMからの翻訳草案をLLMでrefineするイメージ(?)、低リソースな言語に対して特に有効とのこと。

ALMA: Advanced Language Model-based trAnslator

  • A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.8]
    生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
    論文  参考訳(メタデータ)   (Wed, 20 Sep 2023 22:53:15 GMT)
  • Llama-2をベースとした機械翻訳手法の提案、Monolingual Data Fine-tuning( add English monolingual data during fine-tuning to prevent English knowledge forget) → High-Quality Data Fine-tuningという流れとのこと。
  • リポジトリはGitHub – fe1ixxu/ALMA: This is repository for ALMA translation models.

Simultaneous Machine Translation with Large Language Models 

  • Simultaneous Machine Translation with Large Language Models [51.5]
    大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く能力を示した。 我々は,LSMが追加の訓練を必要とせずにSimulMTに参加することができる簡易かつ効果的な混合政策を導入する。 Llama2-7B-chatでMUST-Cデータセットから9つの言語ペアを用いて行った実験は、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを実現できることを示した。
    論文  参考訳(メタデータ)   (Wed, 13 Sep 2023 04:06:47 GMT)
  •  simultaneous machine translationにLLMを用いる研究。Reading Policy、Writing Policyは既存研究のものがベース、Finetuningを行うことで優れた性能を出せるとのこと。

AUTOMQM

  • The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.0]
    AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
    論文  参考訳(メタデータ)   (Mon, 14 Aug 2023 17:17:21 GMT)
  • 機械翻訳の評価にLLMを使う手法の提案
  • system level / segment level、fine tuning有無、モデル差など多角的な検証がされており興味深い