2023年9月26日 – arXiv最新論文の紹介

A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.8]
生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
論文参考訳（メタデータ） (Wed, 20 Sep 2023 22:53:15 GMT)
Llama-2をベースとした機械翻訳手法の提案、Monolingual Data Fine-tuning（ add English monolingual data during fine-tuning to prevent English knowledge forget） → High-Quality Data Fine-tuningという流れとのこと。
リポジトリはGitHub – fe1ixxu/ALMA: This is repository for ALMA translation models.

Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [142.7]
同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
論文参考訳（メタデータ） (Sun, 17 Sep 2023 20:28:17 GMT)
Multi-document Summarizationを対象としたタスクとデータセットの構築。MDDS (Multi-document Diversity Summarization)という複数の情報源の利用を前提としたタスクを提案している。現実的ではあるがGPT-4であっても十分な性能とは言い難い難しいタスクとのこと。
現時点でデータセットは公開されていない？

Summarization is (Almost) Dead [49.4]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文参考訳（メタデータ） (Mon, 18 Sep 2023 08:13:01 GMT)

という論文も出ていたが、要約関連のタスクバリエーションはいろいろ考えられそう。（要約というかレポーティングに近くなっていきそうな気もしつつ）

日: 2023年9月26日