2024年4月17日 – arXiv最新論文の紹介

Blessing or curse? A survey on the Impact of Generative AI on Fake News

Blessing or curse? A survey on the Impact of Generative AI on Fake News [45.0]
現在、高品質で個別にターゲットとするフェイクニュースのマス作成を自動化することが可能である。この調査は、2024年のフェイクニュースの検出と作成のためのジェネレーティブAIの研究と実用化に関する総合的な調査を提供する。
論文参考訳（メタデータ） (Wed, 03 Apr 2024 19:14:45 GMT)
フェイクニュース作成と検出の両面から生成AIの影響を調査したサーベイ

From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples [17.4]
我々は,Llama2,GPT-4,Claude 3などの事前学習された大規模言語モデルが,文脈内例が与えられた場合の線形回帰や非線形回帰をいかにうまく行うかを分析する。いくつかの大きな言語モデルでは、従来の教師付きメソッドに匹敵する(あるいはパフォーマンスに優れる)パフォーマンスで回帰タスクを実行できる。
論文参考訳（メタデータ） (Thu, 11 Apr 2024 08:12:43 GMT)
GradientBoostingの結果など怪しげな部分はありつつ、またデータセット構築過程から言ってLRの結果反則じゃね？とかいろいろ思うところはあるが興味深い結果。元の数式を予測しに行っているとかだととても面白い。LLMにとって未知のデータ（Leakがないことが保証されているデータ）で検証してみたいところ。
robertvacareanu/llm4regression: Examining how large language models (LLMs) perform across various synthetic regression tasks when given (input, output) examples in their context, without any parameter update (github.com)

Language Imbalance Can Boost Cross-lingual Generalisation [57.3]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文参考訳（メタデータ） (Thu, 11 Apr 2024 17:58:05 GMT)
「In both settings, we find that, without vocabulary overlap, our models do not show strong cross-lingual generalisation when trained on a balanced language set.However, when training on an imbalanced mix of languages, we observe increased performance compared to monolingual settings.」という興味深い結果。クローン言語と実際の言語での差異を含めて面白い。
リポジトリはantonschafer/xling-imbalance (github.com)