コンテンツへスキップ
- sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting [27.1]
本稿では,多言語合成指導調律データセット sPhinX を作成するための新しいレシピを提案する。 SPhinXは、命令応答対を英語から50言語に選択的に翻訳することで作成される。 Phi-3-Small と Mistral-7B の2つの最先端モデルを微調整するために sPhinX の有効性を検証した。
論文 参考訳（メタデータ） (Sat, 13 Jul 2024 13:03:45 GMT)
- 「To mitigate this issue, we prompt GPT-4 to selectively translate the instructions, so that the tasks are translated into the appropriate language without changing the semantic meaning.」とLLMを用いた機械翻訳を有効に使った多言語fine tuning。
- 「We devise LAnguage-Specific N-shot Guided Instruction fine-tuning (LANG) strategy for enhancing the multilingual capabilities of LLMs」を含め有効だとは思うのだが現時点ではライセンス上使いにくい・・・（ライセンス的にOKなNemotronだと現実的なのか気になるところ）
- PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation [22.7]
大規模言語モデル(LLM)はNLPの分野に革命をもたらした。 本研究では,機械翻訳(MT)および要約データセット上で,オープンソースのLLMベースのメトリクスに対して,720以上のプロンプトテンプレートを評価する。
論文 参考訳（メタデータ） (Wed, 26 Jun 2024 17:56:29 GMT)
- 機械翻訳と要約を対象とした大規模なプロンプトテンプレートの評価。複数のオープンなLLMで検証しており、LLM間の性能差も参考になる。コードが公開されたら細かく見てみたいところ。
- プロジェクトサイトはNLLG (nl2g.github.io)、リポジトリはGitHub – Gringham/PrExMe
- Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.5]
大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
論文 参考訳（メタデータ） (Thu, 20 Jun 2024 11:09:42 GMT)
- LLMの性能にも依存していそうだが、「We compare various multilingual prompting strategies in NLP tasks, finding that translation remains a strong baseline even for LLMs.」とのこと。
- データの偏り（英語に特化など）が激しい、基礎性能が高くない場合は特に機械翻訳が有効に思え、直観に反しない結果。タスクによっては機械翻訳が適していないというのもそうだろうと思う。
- The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.2]
機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。 モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。 フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
論文 参考訳（メタデータ） (Thu, 30 May 2024 14:25:56 GMT)
- 「Our results show that while fine-tuning improves the general translation quality of LLMs, several abilities degrade.」に対して「We show that incorporating a mix of monolingual and parallel data during fine-tuning can preserve abilities of LLMs.」とのこと
- 翻訳特化にしたら下がる能力もあるのは当然だと思うが、単言語なデータを入れるのみで能力の維持が可能というのに驚き。
- A Survey on Multi-modal Machine Translation: Tasks, Methods and Challenges [35.9]
マルチモーダル機械翻訳は学術と産業の両方に大きな関心を集めている。 テキストと視覚の両方を入力として取り、視覚的コンテキストを活用して、ソーステキストの曖昧さに対処する。
論文 参考訳（メタデータ） (Tue, 21 May 2024 10:34:47 GMT)
- マルチモーダルな機械翻訳に関するサーベイ。研究が続いてきた分野ではあるがMLLMの影響を大きく受けそうな雰囲気（サーベイにも言及はある）
- m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt [39.3]
マルチモーダル多言語ニューラルマシン翻訳(m3P)を導くためのマルチモーダルプロンプトを利用するフレームワークを提案する。 本手法は, 中心言語としてのイメージを考慮し, 異なる言語の表現距離を最小化することを目的とする。 実験の結果,m3Pは従来のテキストのみのベースラインや多言語マルチモーダルメソッドよりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (Tue, 26 Mar 2024 10:04:24 GMT)
- 「we introduce visual context as the universal language-independent representation to facilitate multilingual translation.」が実現できそうであることが感慨深い。結果からも一定程度の効果が出ていそう。
- データセットが公開されているのも凄い CSJianYang/InstrMulti102 · Datasets at Hugging Face
- Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [53.0]
LINGOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳（メタデータ） (Wed, 28 Feb 2024 03:44:01 GMT)
- 形態素解析した結果と単語単位の辞書情報をLLMに入れることで未知の言語の翻訳ができたという論文。Geminiの事例を彷彿とさせ、LLMの指示理解力＆高い言語能力が興味深い。
- リポジトリはLLiLab/llm4endangeredlang (github.com)
- Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.4]
ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (Mon, 29 Jan 2024 17:17:42 GMT)
- 機械翻訳に関する評価手法に対するベンチマーク。当然といえば当然だがBLEUのスコアが非常に低い。「we advise the reader not to draw any conclusions based solely on the ACES-Score」とは書かれているものの・・・。
- リポジトリはnikitam/ACES · Datasets at Hugging Face、ライセンスはCreative Commons Attribution Non-Commercial Share Alike 4.0 (cc-by-nc-sa-4.0)