コンテンツへスキップ
- Prompting Large Language Model for Machine Translation: A Case Study [87.9]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。 本稿では,プロンプトテンプレートと実演例選択の要因について検討する。 本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳（メタデータ） (Wed, 18 Jan 2023 11:30:05 GMT)
- 機械翻訳のためのプロンプト戦略の検討
- プロンプトテンプレートの作り方や最初の例の与え方が翻訳に大きく影響するようで、その点はそうだろうと思うが、一般的に有効な戦略を作るのはなかなか難しそうとの印象。
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers [92.6]
テキストから音声合成(TTS)のための言語モデリング手法を提案する。 具体的には、市販のニューラルオーディオモデルから派生した離散符号を用いて、ニューラルネットワークモデル(Vall-E)を訓練する。 Vall-Eは、コンテキスト内学習機能を導入し、高品質なパーソナライズされた音声の合成に使用できる。
論文 参考訳（メタデータ） (Thu, 5 Jan 2023 15:37:15 GMT)
- 最近の言語モデルと似たアーキテクチャを用いたText to Speechモデルの提案。この分野にもpromptを用いたモデルが出てきているのが興味深い。
- リポジトリはunilm/valle at master · microsoft/unilm · GitHub、でもページがVALL-E (valle-demo.github.io)にある。高品質な合成ができているように思う。
- Prompting PaLM for Translation: Assessing Strategies and Performance [16.7]
経路言語モデル (PaLM) は, 同様に訓練されたLLMの中で最強の機械翻訳(MT)性能を示した。 我々は、PaLMのMT機能に関する以前の評価を、より最近のテストセット、現代のMTメトリクス、そして人間の評価で再検討し、その性能は、印象的ではあるが、最先端の監視システムよりも遅れていることを発見した。
論文 参考訳（メタデータ） (Wed, 16 Nov 2022 18:42:37 GMT)
- 機械翻訳へのPaLM適用の取り組み
- 様々な手法を比較しているが、現状では教師有りな仕組みには及ばないとのこと。（及ばないとはいえ善戦とはいえるような気はしないでもない）
- QAmeleon: Multilingual QA with Only 5 Examples [71.8]
数ショットの学習環境下で事前学習した言語モデルを利用する方法を示す。 我々のアプローチであるQAmeleonは、PLMを使用して、QAモデルをトレーニングした多言語データを自動的に生成する。 言語毎に5つの例しか持たないデータ合成のためにPLMをプロンプトチューニングすることで、翻訳ベースのベースラインよりも精度が向上する。
論文 参考訳（メタデータ） (Tue, 15 Nov 2022 16:14:39 GMT)
- 多言語QAモデル実現のための合成データ作成においてPLM＋promptを使う手法の提案
- Automatic Chain of Thought Prompting in Large Language Models [20.5]
大規模言語モデル(LLM)は中間的推論ステップを生成することで複雑な推論を行うことができる。 「ステップ・バイ・ステップ」は、デモのための推論チェーンを1つずつ生成します。 自動CoTプロンプト法を提案する。
論文 参考訳（メタデータ） (Fri, 7 Oct 2022 12:28:21 GMT)- Chain of Thoughtの自動化、マニュアルの対応に比べても優れた性能を達成。
- Ask Me Anything: A simple strategy for prompting language models [24.3]
大規模言語モデル(LLM)は、単にタスクの実行方法を示す自然言語プロンプトを与えられただけで、追加のトレーニングは行われない。本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
論文 参考訳（メタデータ） (Thu, 6 Oct 2022 06:39:56 GMT)
- Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts [19.4]
これまでの研究では、言語モデル(LM)のサイズと、異なる下流のNLPタスクにおけるゼロショットのパフォーマンスとの間には、スケーリングの法則が存在することが示されている。 本研究では,この現象が負のプロンプトでタスク上で大きなLMを評価する際には有効ではなく,逆のスケーリング法則を示す。
論文 参考訳（メタデータ） (Mon, 26 Sep 2022 14:05:10 GMT)