- Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [83.3]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列かつ大規模な多言語会話データセットであるXSGDを紹介する。 我々は、アライメントプロンプトを学習するための効率的なプロンプトチューニングベースの手法を開発した。
論文 参考訳(メタデータ) (Sat, 24 Jun 2023 06:18:33 GMT) - English-only Schema-Guided Dialogue (SGD)を翻訳して作成した大規模な多言語対話データセットXSGDの紹介とプロンプトチューニング方法の提案
- データセットはgoogle driveからダウンロードできるとのこと
Multilingual
7 / 12 ページ
M3Exam
- M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models [30.4]
M3Examは、多言語、マルチモーダル、マルチレベルコンテキストにおける大規模言語モデル(LLM)を評価するためのベンチマークである。 M3Examには、9つの言語で12,317の質問があり、3つの教育レベルがある。 我々は,M3Exam上でのLLMの性能評価を行い,GPT-4を含む現在のモデルが多言語テキストに苦戦していることを確認した。
論文 参考訳(メタデータ) (Thu, 8 Jun 2023 13:21:29 GMT) - マルチリンガル、マルチモーダルなLLM評価用のベンチマーク。残念ながら日本語は入っていない。このベンチマークではGPT-4 > ChatGPT > Calude > Vicuna > BLOOMとのこと。前提条件などにもよるのだろうが参考になる。
- リポジトリはGitHub - DAMO-NLP-SG/M3Exam: Data and code for paper "M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models"
PaLI-X
- PaLI-X: On Scaling up a Multilingual Vision and Language Model [167.0]
マルチ言語ビジョンと言語モデルであるPaLI-Xをスケールアップする際のトレーニングレシピと結果を示す。 我々のモデルは、多種多様な複雑なタスクにおいて、新しいレベルのパフォーマンスを達成する。 複雑なカウントや多言語オブジェクト検出といった,トレーニングミックスに明示的に含まれないタスクの出現を観察する。
論文 参考訳(メタデータ) (Mon, 29 May 2023 18:58:38 GMT) - PaLI: Pathways Language and Image – arXiv最新論文の紹介 (devneko.jp)の新バージョン(?)、Vision-Languageなタスクで優れた性能を達成
- モデルアーキテクチャはViT 22B + UL2 32B?
BigTrans
- BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages [58.9]
我々は,LLaMAを20言語のみに適応させ,100言語以上の多言語翻訳機能で拡張するBigTransを提案する。 BigTransは,LLaMA-13B上に構築されており,3つのステップで最適化されている。まず,大規模な中国語モノリンガルデータを用いてLLaMAのトレーニングを継続する。次に,102の自然言語をカバーする大規模並列データセットを用いてモデルをトレーニングする。第3に,基礎モデルを多言語翻訳命令で指導し,BigTransモデルに導出する。
論文 参考訳(メタデータ) (Mon, 29 May 2023 14:07:52 GMT) - LLaMAを多言語対応させる手法の提案、最初に中国語に対応させ、その後多言語に展開する方針で日本語でもやってみたい内容
- リポジトリはGitHub - ZNLP/BigTrans: BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages
BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting
- BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.2]
BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。 既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。 データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
論文 参考訳(メタデータ) (Thu, 25 May 2023 10:50:40 GMT) - BLOOMに新たな言語を入れる場合に有効な方法に関する報告。日本語を入れたいのでとても有用な情報。
- 「Surprisingly, we find that adapter-based finetuning is more effective than continued pretraining for large models.」という面白い結果が報告されている。「we need around 100 million tokens of the new language for effective language adaptation.」というのも面白い。wikipediaレベルで十分というのは本当なんだろうか。
- リポジトリはGitHub - bigscience-workshop/multilingual-modeling: Adapting BLOOM model to support a new unseen language
Active Learning for Multilingual Semantic Parser
- Active Learning for Multilingual Semantic Parser [56.1]
多言語意味解析(AL-MSP)のための最初の能動的学習手法を提案する。 AL-MSPは翻訳対象の既存のデータセットからサブセットのみを選択する。 実験の結果,AL-MSPは理想的な選択法で翻訳コストを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (Thu, 13 Apr 2023 13:30:06 GMT) - マルチリンガルなSemantic Parserを対象としたアクティブラーニング、翻訳コストを減らすことがモチベーションのようだがNLPに対するアクティブラーニングでうまくいく事例として興味深い
- 当然ながら「Clearly, human translation delivers a greater output quality compared to machine translation.」なのでアクティブラーニングがうまく動作すると人間で…という方向が期待される
XWikiGen
- XWikiGen: Cross-lingual Summarization for Encyclopedic Text Generation in Low Resource Languages [11.6]
ウィキペディアのテキスト生成に関する既存の研究は、英語の参照記事が要約されて英語のウィキペディアページを生成する場合にのみ、英語に焦点を当てている。 本稿では,ウィキペディア形式のテキストを生成するために,多言語で書かれた複数の参照記事からテキストを多文書で要約するタスクであるXWikiGenを提案する。
論文 参考訳(メタデータ) (Tue, 18 Apr 2023 09:38:59 GMT) - Crosslingualな要約タスク、mBARTの成績が良い(LLM系は検証対象とされていない?)
- リポジトリはGitHub - DhavalTaunk08/XWikiGen: Codebase for the paper XWikiGen
PRESTO
- PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs [39.6]
PRESTOは、人間と仮想アシスタント間の550万以上のコンテキスト多言語会話のデータセットである。 現実のNLUタスクで発生する問題、例えば、障害、コードスイッチング、リビジョンなどが含まれる。 我々のmT5モデルに基づくベースラインは、PRESTOに存在する会話現象をモデル化することが困難であることを示している。
論文 参考訳(メタデータ) (Fri, 17 Mar 2023 02:26:52 GMT) - 多言語の会話データセット550K-examples、6言語と大規模。日本語が入っているのがうれしい。ライセンスはクリエイティブ・コモンズ — 表示 4.0 インターナショナル — CC BY 4.0 (creativecommons.org)
- リポジトリはGitHub - google-research-datasets/presto: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs
MEGA: Multilingual Evaluation of Generative AI
- MEGA: Multilingual Evaluation of Generative AI [6.3]
生成AIモデルは、多くの自然言語処理タスクにおいて印象的なパフォーマンスを持つ。 ジェネレーティブ・Large Language Models (LLMs) に関するほとんどの研究は英語に限られている。 これらのモデルが、他の言語を理解して生成する能力がどの程度あるかは定かではない。
論文 参考訳(メタデータ) (Wed, 22 Mar 2023 13:03:10 GMT) - データセット、プロンプト、翻訳有無など設定が難しいLLMの多言語評価に関する論文。現時点ではコード等が公開されていないが、"We plan to release the MEGA benchmarking code to facilitate this."にも"We plan to conduct a similar benchmarking of GPT4 in the near future."にも期待大
- davinci-003の結果は「健闘しているがfine tuningされたSoTAレベルには及ばず」「翻訳を介するtranslate-test が有効」という感じだが、GPT-4でどう変わっているかが気になるところ。
Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension
- Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.1]
知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
論文 参考訳(メタデータ) (Sun, 26 Feb 2023 05:52:52 GMT) - xKBQAを解く際にナレッジベースからサブグラフを抽出、そこから自然言語のテキストを生成し、PLM-based xMRC モデルを用いて回答を得るというアプローチの提案(?)
- 構造化データを非構造化データにしてしまっている気がするが解釈はあっているだろうか・・・?(それでも大規模PLMの恩恵を受けた方が性能が高まるという事?)
- リポジトリはGitHub - luciusssss/xkbqa-as-mrc: Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension, Findings of EACL 2023