日: 2023年8月23日

AUTOMQM

  • The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.0]
    AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 17:17:21 GMT)
  • 機械翻訳の評価にLLMを使う手法の提案
  • system level / segment level、fine tuning有無、モデル差など多角的な検証がされており興味深い 

GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher

  • GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher [89.5]
    実験により、いくつかの安全領域において、GPT-4の安全性アライメントをバイパスするために、ある暗号がほぼ100%の時間で成功することが示された。 本稿では,ロールプレイのみを使用し,自然言語によるいくつかの実演を行い,これを誘発する新しいSelfCipherを提案する。
    論文  参考訳（メタデータ）   (Sat, 12 Aug 2023 04:05:57 GMT)
  • 暗号を介する事でGPT-4の安全対策を回避できたという報告。最初にLLMに暗号化と復号のルールを教えこむプロセスなのが面白い。
  • リポジトリはGitHub – RobustNLP/CipherChat: A framework to evaluate the generalization capability of safety alignment for LLMs