コンテンツへスキップ
- Adversarial Training: A Survey [130.9]
敵対的トレーニング( Adversarial Training、AT)とは、相手の例をトレーニングプロセスに統合することである。 近年の研究では、様々な敵攻撃に対するディープニューラルネットワークの堅牢性向上におけるATの有効性が実証されている。
論文 参考訳（メタデータ） (Sat, 19 Oct 2024 08:57:35 GMT)
- Adversarial Trainingのサーベイ
- Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey [50.0]
マルチモーダル生成モデルは、ビルトインの安全機構をバイパスし、潜在的に有害なコンテンツの生成を誘導できる、ジェイルブレイク攻撃の影響を受けやすい。 本調査は,マルチモーダル生成モデルにおけるジェイルブレイクと防御についてレビューする。
論文 参考訳（メタデータ） (Thu, 14 Nov 2024 07:51:51 GMT)
- マルチモーダル設定におけるJailbreak攻撃のサーベイ。モダリティが増えると攻撃に関するバリエーションも増え、面白い（と同時に防御の難しさが興味深い）
- 本サーベイでは「1) Input Level: Attackers and defenders operate solely on the input data.」、「2) Encoder Level: With access to the encoder, attackers optimize adversarial inputs to inject malicious information into the encoding process, while defenders work to prevent harmful information from being encoded within the latent space」、「3) Generator Level: With full access to the generative models, attackers leverage inference information, such as activations and gradients, and fine-tune models to increase adversarial effectiveness, 」、「4) Output Level: With the output from the generative model, attackers can iteratively refine adversarial inputs,」というレベル分けを採用している
- リポジトリはGitHub – liuxuannan/Awesome-Multimodal-Jailbreak
- SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.7]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳（メタデータ） (Thu, 24 Oct 2024 17:14:40 GMT)
- MLLMの安全性を調べるフレームワークの提案。
- リポジトリはSafeBench