2024年6月7日 – arXiv最新論文の紹介

X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions

X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions [43.9]
大規模な言語モデルは、英語のような高リソース言語ではうまく反応するが、低リソース言語では苦労する。そこで本研究では,低リソース言語における英語の命令と応答を併用した言語間命令を新たに構築する手法を提案する。
論文参考訳（メタデータ） (Thu, 30 May 2024 06:45:23 GMT)
下記3段階（リポジトリより）で低リソースな言語用にcross-lingual instructions datasetを作る手法の提案。
- X-Instruction Generation: Language models learn to generate cross-lingual instructions for multilingual texts using seed data.
- X-Instruction Refinement: Language models iteratively label and refine cross-lingual instruction samples.
- X-Instruction Diversification: The final instruction data are sampled from different clusters of embedding from the English instruction to increase the diversity.
リポジトリはGitHub – ZNLP/X-Instruction: Official code and data for ACL-2024 paper “X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions”

Artificial Intelligence Approaches for Predictive Maintenance in the Steel Industry: A Survey [9.1]
予測保守(PdM)は産業4.0の柱の一つとして登場した。この調査は、鉄鋼業界におけるAIベースのPdM分野における知識の現状を総合するものである。
論文参考訳（メタデータ） (Tue, 21 May 2024 13:32:46 GMT)
鉄鋼業界＆予測保守におけるAI活用のサーベイ。
業界・タスク特化であるが35ページと長く伝統的な手法を含めていろいろなアプローチがされているのだなと興味深かった。 PdMだとProduct Managerを思い浮かべるかもしれないが、ここではPredictive Maintenance。

The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.2]
機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
論文参考訳（メタデータ） (Thu, 30 May 2024 14:25:56 GMT)
「Our results show that while fine-tuning improves the general translation quality of LLMs, several abilities degrade.」に対して「We show that incorporating a mix of monolingual and parallel data during fine-tuning can preserve abilities of LLMs.」とのこと
翻訳特化にしたら下がる能力もあるのは当然だと思うが、単言語なデータを入れるのみで能力の維持が可能というのに驚き。