2023年4月12日 – arXiv最新論文の紹介

Large language models effectively leverage document-level context for literary translation, but critical errors persist

Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.5]
大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
論文参考訳（メタデータ） (Thu, 6 Apr 2023 17:27:45 GMT)
GPT-3.5を用いて文レベル、段落レベルの翻訳を検証した論文。18言語ペア（日本語含む）と広い検証で人間による評価が行われていることも特徴的。（一方で有名な作品を利用するのはリークの危険が…という気もしている。）
リポジトリはGitHub – marzenakrp/LiteraryTranslation

Your Diffusion Model is Secretly a Zero-Shot Classifier [83.3]
大規模なテキスト・画像拡散モデルからの密度推定は、追加の訓練をすることなくゼロショット分類を行うことができることを示す。分類への我々の生成的アプローチは、様々なベンチマークにおいて強力な結果を得ることができ、拡散モデルから知識を抽出する代替手法よりも優れている。
論文参考訳（メタデータ） (Tue, 28 Mar 2023 17:59:56 GMT)
Diffusion Modelを分類器として使えるという報告。結果には全く違和感はないが、Synthetic SD Data（Diffusion Modelからの合成データを用いるアプローチ）をはるかに超える性能を出しているのはすごい。
リポジトリはDiffusion Classifier (diffusion-classifier.github.io)

A Survey of Large Language Models [81.1]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文参考訳（メタデータ） (Fri, 31 Mar 2023 17:28:46 GMT)
大規模言語モデルのサーベイ
有名なモデルの開発時期や（公開されている範囲での）データ、規模、計算リソースなどがまとまっているのが非常にありがたい。数多くのモデルが作られていることと近年のLLMのアーキテクチャは概ね同じであることが分かる。
リポジトリはGitHub – RUCAIBox/LLMSurvey: A collection of papers and resources related to Large Language Models.　、図がとても良い