タグ: セキュリティ

CyberSecEval

  • Purple Llama CyberSecEval: A Secure Coding Benchmark for Language Models [41.1]
    本稿では,Large Language Models (LLMs) のプログラミングアシスタントとしてのサイバーセキュリティを促進するために開発された,包括的なベンチマークであるCyberSecEvalを提案する。 CyberSecEvalは、2つの重要なセキュリティ領域におけるLSMの徹底的な評価を提供する。
    論文  参考訳（メタデータ）   (Thu, 7 Dec 2023 22:07:54 GMT)
  • セキュリティ関連のベンチマークとして「安全でないコードの生成」「サイバー攻撃の支援に対するコンプライアンス」を評価するもの。Purple Llama CyberSecEval: A benchmark for evaluating the cybersecurity risks of large language models | Research – AI at Metaの立ち上げに伴うもの。
  • 「On average, LLMs suggested vulnerable code 30% of the time over CYBERSECEVAL ’s test cases. Furthermore, models complied with 53% of requests to assist in cyberattacks on average across all models and threat categories.」とのことで道はながそう。GPT-4であれば大丈夫という結果でもない。
  • リポジトリはPurpleLlama/CybersecurityBenchmarks at main · facebookresearch/PurpleLlama · GitHub

VELVET(noVel Ensemble Learning approach to automatically locate VulnErable sTatements): 脆弱性検知手法

  • VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.9]
    本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
    論文  参考訳（メタデータ）   (Mon, 20 Dec 2021 22:45:27 GMT)
    • グラフ構造情報、系列情報を併用した脆弱性検知手法の提案。合成データで事前学習し現実のデータでfine tuningすることで優れた性能を達成とのこと。

GitHub Copilotのバグ・セキュリティの分析

  • An Empirical Cybersecurity Evaluation of GitHub Copilot’s Code Contributions [8.3]
    GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。 コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。 これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
    論文  参考訳（メタデータ）   (Fri, 20 Aug 2021 17:30:33 GMT)
    • ‘AIペアプログラマ’であるGitHub Copilotが出力したコードに脆弱性がないかを分析した論文。「89のシナリオを生成し、1,692のプログラムを生成します。 これらのうち、約40%が脆弱であることが分かりました。」とのこと。学習サンプルには脆弱なコードも含まれているはずで驚きはない（が危険性があるのは確か）。Copilotのような技術は期待しているし、完璧でなくとも機械翻訳のように付き合っていくのが良いのかなと思った。

検知しにくい自然言語処理モデル（BERTなど）のバックドア

  • Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger [48.6]
    本稿では,テキストバックドア攻撃の引き金として構文構造を用いることを提案する。 我々は、トリガーベースアタック法が同等のアタック性能を達成できることを示すため、広範囲な実験を行った。 また,本研究の結果から,テキストバックドア攻撃の重篤さと有害性も明らかとなった。
    論文  参考訳（メタデータ）   (Wed, 26 May 2021 08:54:19 GMT)
    • 単純なテキストではなく構文構造をトリガーとするバックドアを作れることを示した論文。検知・防御は非常に困難であり攻撃手法としてとても有効。
    • https://github.com/thunlp/hiddenkiller　ソースコード等も公開予定とのこと（現状ではまだ未公開）