コンテンツへスキップ
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risk of Language Models [33.2]
Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。 エージェント能力を評価するために,gpt-4o,claude 3 opus,claude 3.5 sonnet,mixtral 8x22b instruct,gemini 1.5 pro,llama 3 70b chat,llama 3.1 405b instructの7モデルを評価する。
論文 参考訳（メタデータ） (Thu, 15 Aug 2024 17:23:10 GMT)
- CTFコンペから抽出したタスクをLLMが解けるかのベンチマーク。ガイドなしだとまだまだ難しそうな感じ。閲覧時点ではClaude 3.5 Sonnet > GPT-4o > Claude 3 Opusで、オープン系のLlama 3.1 405B Instructは商用モデルに比べてかなり性能が低い。
- リポジトリはCybench
- Towards more Practical Threat Models in Artificial Intelligence Security [71.5]
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。 我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
論文 参考訳（メタデータ） (Thu, 16 Nov 2023 16:09:44 GMT)
- AIセキュリティに関して研究と実際の差を分析した論文。key findingsを見るだけでも結構なギャップがありそう。。。
- Graph Mining for Cybersecurity: A Survey [60.8]
マルウェア、スパム、侵入などのサイバー攻撃の爆発的な増加は、社会に深刻な影響をもたらした。 従来の機械学習(ML)ベースの手法は、サイバー脅威の検出に広く用いられているが、現実のサイバーエンティティ間の相関をモデル化することはほとんどない。 グラフマイニング技術の普及に伴い、サイバーエンティティ間の相関を捉え、高いパフォーマンスを達成するために、多くの研究者がこれらの手法を研究している。
論文 参考訳（メタデータ） (Sun, 2 Apr 2023 08:43:03 GMT)
- サイバーセキュリティにおけるグラフマイニング活用のサーベイ
- ネットワークなどセキュリティに関わる要素とグラフ構造は相性が良いので活用が期待される（というかよく活用されている）分野
- Learned Systems Security [30.4]
学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。 このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。 MLの使用に起因した脆弱性を識別するフレームワークを開発する。
論文 参考訳（メタデータ） (Tue, 20 Dec 2022 15:09:30 GMT)
- （機械）学習モデルを含むシステムのセキュリティについて扱った論文
- 学習機構を悪用することで攻撃ができるとの内容で、この手の考慮が必要と再認識できる。
- Towards Web Phishing Detection Limitations and Mitigation [21.7]
フィッシングサイトが機械学習に基づく検出をバイパスする方法を示す。 100Kフィッシング・ベナンサイトを用いた実験では、有望な精度(98.8%)を示した。 本稿では,ロジスティック回帰に基づくよりレジリエントなモデルであるAnti-SubtlePhishを提案する。
論文 参考訳（メタデータ） (Sun, 3 Apr 2022 04:26:04 GMT)- フィッシングサイトがMLベースの検出をバイパスしている方法の調査とその対策の提案。13,000のフィッシングページにわたる詳細なケーススタディを行っているとのことで面白い内容。
- 提案されているAnti-SubtlePhishは主として特徴量の強化を行っている。最終的なレンダリング結果を使うことが重要そう。
- Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.9]
トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
論文 参考訳（メタデータ） (Thu, 31 Mar 2022 18:06:28 GMT)- 学習用のデータセットに攻撃をすることで、プライバシーに関連するデータを漏洩させることができるとの報告。先行研究ではモデルの保護は困難とのこと。
- 「Untrusted data is not only a threat to integrity.」「Large neural networks are trained on massive datasets which are hard to curate.」ですよね・・・