コンテンツへスキップ
- A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.8]
生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
論文 参考訳（メタデータ） (Wed, 20 Sep 2023 22:53:15 GMT)
- Llama-2をベースとした機械翻訳手法の提案、Monolingual Data Fine-tuning（ add English monolingual data during fine-tuning to prevent English knowledge forget） → High-Quality Data Fine-tuningという流れとのこと。
- リポジトリはGitHub – fe1ixxu/ALMA: This is repository for ALMA translation models.
- Simultaneous Machine Translation with Large Language Models [51.5]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く能力を示した。 我々は,LSMが追加の訓練を必要とせずにSimulMTに参加することができる簡易かつ効果的な混合政策を導入する。 Llama2-7B-chatでMUST-Cデータセットから9つの言語ペアを用いて行った実験は、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを実現できることを示した。
論文 参考訳（メタデータ） (Wed, 13 Sep 2023 04:06:47 GMT)
- simultaneous machine translationにLLMを用いる研究。Reading Policy、Writing Policyは既存研究のものがベース、Finetuningを行うことで優れた性能を出せるとのこと。
- The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.0]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳（メタデータ） (Mon, 14 Aug 2023 17:17:21 GMT)
- 機械翻訳の評価にLLMを使う手法の提案
- system level / segment level、fine tuning有無、モデル差など多角的な検証がされており興味深い
- TIM: Teaching Large Language Models to Translate with Comparison [52.8]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文 参考訳（メタデータ） (Mon, 10 Jul 2023 08:15:40 GMT)
- 正しい翻訳と間違った翻訳間のpreference loss を導入してLLMの翻訳性能を上げる手法の提案。通常のfine tuningにくらべ優れた性能を発揮。新たな言語へのZero-shot Translation能力も向上している点も興味深い。他のタスクのマルチリンガル性能への影響も気になるところ。
- リポジトリはGitHub – lemon0830/TIM: code for Teaching LM to Translate with Comparison
- MobileNMT: Enabling Translation in 15MB and 30ms [53.8]
デバイス上で15MBと30msで翻訳できるMobileNMTを提案する。 モデルとエンジンの共設計により、既存のシステムと比較して47.0xのスピードを上げ、メモリの99.5%を節約し、BLEUの損失は11.6%に留まった。
論文 参考訳（メタデータ） (Wed, 7 Jun 2023 08:25:51 GMT)
- 小規模で高速なニューラル機械翻訳モデルの提案
- リポジトリはGitHub – zjersey/Lightseq-ARM
- On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss [120.2]
unsupervised neural machine translation (UNMT)は多くの言語で成功している。 コピー問題、すなわち、入力文の一部を翻訳として直接コピーする問題は、遠い言語対に共通している。 本稿では,言語識別器の損失を取り入れた,シンプルだが効果的な訓練スケジュールを提案する。
論文 参考訳（メタデータ） (Fri, 26 May 2023 18:14:23 GMT)
- unsupervised neural machine translationをトライしているとあるあるな問題、コピーが出力されることに対する考察と対策の提案。
- リポジトリはGitHub – yihongL1U/xlm_lang_dis
- Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [91.6]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳（メタデータ） (Thu, 11 May 2023 05:19:47 GMT)
- LLMが機械翻訳出も優れた性能を出すことは知られており（というか初期のモチベーションの1つでもあり）、その性能を引き出すため辞書的な情報をプロンプトに入れる手法の提案
- 多くの言語でテストしており非常に有望な結果。日本語では効果がなさそうな理由を知りたいところ。
- Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.5]
大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。 我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
論文 参考訳（メタデータ） (Thu, 6 Apr 2023 17:27:45 GMT)
- GPT-3.5を用いて文レベル、段落レベルの翻訳を検証した論文。18言語ペア（日本語含む）と広い検証で人間による評価が行われていることも特徴的。（一方で有名な作品を利用するのはリークの危険が…という気もしている。）
- リポジトリはGitHub – marzenakrp/LiteraryTranslation
- Hallucinations in Large Multilingual Translation Models [70.1]
大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
論文 参考訳（メタデータ） (Tue, 28 Mar 2023 16:17:59 GMT)
- 最近よく話題になるHallucinationについて多言語翻訳の観点で分析した論文。ChatGPTの検証も行っている。
- 多言語翻訳モデルでは（当然ながら）リソースの少ない言語に対してHallucinationが多発するが、ChatGPTではむしろ中リソースの言語に対して問題が多く行るのが興味深い。Hallucinationの緩和としてfallback systemを使う場合、同じトレーニングデータとアーキテクチャを共有するモデルでは効果が薄く別の外部システムを使うことが有効としている。