- The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.0]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳（メタデータ） (Mon, 14 Aug 2023 17:17:21 GMT) - 機械翻訳の評価にLLMを使う手法の提案
- system level / segment level、fine tuning有無、モデル差など多角的な検証がされており興味深い