CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration
CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.4] マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。 論文参考訳（メタデータ） (Tue, 17 Sep 2024 17:14:41 GMT)
MLLMにおいて悪意のある画像を介した攻撃が問題になるが、その対応に関する論文。
「We first make the observation that despite the integration of visual modality makes the MLLMs more vulnerable, the inherent safetyawareness of MLLMs still exists.」はへーという感じ、