Awesome-AI-For-Security
专注AI与安全交叉领域的Awesome知识图谱,汇聚模型、数据集、工具与论文
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
专注AI与安全交叉领域的Awesome知识图谱,汇聚模型、数据集、工具与论文
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
凌晨两点,某企业安全运营中心的 SIEM 平台突然告警——大量异常登录请求从内部网络涌向核心数据库。传统规则引擎无法判断这是运维人员的合法批量操作,还是攻击者的横向渗透动作。此时,安全分析师打开了一个 GitHub 仓库,在搜索框输入 "LLM phishing detection",三分钟后,一份来自 Meta AI 团队的 CyberSecEval 4 基准测试报告出现在眼前,指引他使用特定提示工程技术来引导模型识别出隐藏在正常流量中的恶意行为模式。
这只是 AI 与网络安全加速融合浪潮中的一个缩影。随着 GPT-4、Claude、Llama 等大语言模型在 2023-2025 年间快速渗透到各行业,"AI for Security" 与 "Security for AI" 正在成为安全领域最活跃的双向赛道。一方面,安全团队借助 LLM 的自然语言理解与推理能力提升威胁检测、漏洞挖掘和事件响应效率;另一方面,安全研究者也在关注 AI 系统本身面临的数据投毒、对抗样本、提示注入等新型攻击面。
在这股浪潮中,Awesome AI For Security 仓库应运而生——它由独立研究员 Aman Priyanshu 发起维护,截至 2026 年初已收录超过 144 颗星,以 CC0-1.0 开源协议向全社区开放。这不是一个传统意义上的攻防工具,而是一张面向 AI + 安全交叉领域的知识地图,通过系统化整理模型、数据集、基准测试、工具框架和学术论文,帮助安全从业者和 AI 研究者快速找到彼此领域的最新资源。
图1:Awesome AI for Security 徽章,由 awesome.re 服务生成
打开这份 Awesome 列表,首先映入眼帘的是其精心设计的分类体系。作者没有采用简单罗列的松散结构,而是围绕 AI 安全领域的核心问题域,将内容划分为七大模块:
**模型层(Models)**是整个列表的核心入口。这里收录了多个专门针对安全场景微调的大语言模型,其中最具代表性的是 Foundation-Sec 系列(包含 8B 参数的推理版本和指令微调版本),由 fdtn-ai 团队发布在 HuggingFace 上。TrendMicro AI Lab 主导的 Llama-Primus 系列则走了另一条路线——在安全领域语料上进行持续预训练,提供了基础版、合并版和推理增强版三个变体。此外还有 Antares-1B 和 Antares-350M 等轻量级模型,适合在对延迟敏感的安全边缘场景中部署。
**数据集层(Datasets)**是支撑模型训练与评估的根基。这里包含三类数据:第一类是预训练语料(Pre-Training Datasets),如 Primus-FineWeb 和 Primus-Reasoning,用于让模型在安全相关文本上建立基础语言理解能力;第二类是指令微调数据(IFT & Capability Datasets),用来提升模型在特定安全任务上的指令遵循能力;第三类是专门的漏洞与安全数据集(Security & Vulnerability Datasets),典型代表如 SecBench,是目前覆盖面最广的代码安全漏洞数据集之一。
**基准测试层(Benchmarks & Evaluation)**解决了"如何衡量 AI 系统安全能力"的核心问题。这里收录了多个权威评测体系:Meta AI 的 CyberSecEval 4 提供了一套标准化的 LLM 网络安全能力评估协议;SecBench 则是代码漏洞检测领域引用率最高的基准测试之一; NYU CTF Bench 专门针对大模型在夺旗竞赛中的表现进行评估;AI AppSec Index 聚焦应用安全场景,评估模型在代码审计中的实用价值。值得注意的是,每个基准测试都附带对应的学术论文链接,方便研究者追溯原始方法论。
**工具与框架层(Tools & Frameworks)**收录了从对抗样本检测到渗透测试自动化的各类工程工具。garak 是这个类别中最知名的项目之一,专门用于检测 LLM 的幻觉与幻觉注入漏洞,由研究者 leondz 主导维护;promptfoo 则是面向提示工程的质量评测工具,支持批量测试和回归验证;MCP-Scan 基于 Model Context Protocol,可对 AI 系统的上下文处理安全性进行扫描;微软的 Counterfit 提供了统一的对抗攻击测试框架,可对多种 AI 模型进行红队评估。
**安全智能体层(Security Agents)**是这个列表中最具前沿性的部分。Agentic Radar 由 splx-ai 团队开发,是一个自主化的安全研究智能体,能够在无需人工干预的情况下执行漏洞发现任务;HackingBuddyGPT 则将 LLM 作为渗透测试中的推理伙伴,帮助安全人员在复杂网络环境中制定攻击路径;OWASP Agent Memory Guard 是 OWASP 官方项目,专门为 AI Agent 的内存安全问题提供防护指南和最佳实践;agentic_security 项目则探索了如何让 AI 智能体在执行安全任务时保持行为边界。
**红队对抗层(Red Team)**收录了专门用于对 AI 系统进行攻防演练的工具。garak 同时出现在工具层和红队层,是检测 LLM 幻觉与幻觉注入漏洞的必查项;Charcuterie 提供了一组针对机器学习系统的评估脚本;Deep-pwning 则专注于使用对抗技术欺骗深度学习模型。
**出版资源层(Publications)**系统梳理了 AI 安全领域的学术文献,覆盖模型与数据集研究、安全基准测试和对抗性机器学习等多个方向。Primus 论文(arXiv:2502.11191)、SecBench 论文(arXiv:2412.20787)、CTI-Bench 论文等核心文献均被收录,便于研究者和实践者追溯一手资料。
在讨论这个项目的技术属性时,需要区分两个维度。
从代码角度看,Awesome AI For Security 本身是一个纯静态的 Markdown 仓库,只包含 README.md、LICENSE、代码行为准则和贡献指南四个文件,没有任何可执行代码、容器配置或构建脚本。这意味着它不是一个"软件项目"——你无法 clone 后运行它,也不需要安装任何依赖。
从内容角度看,它收录的内容本身却具有极高的开源价值。整个列表以 CC0-1.0(公共领域贡献)协议发布,这意味着列表中的链接资源——无论是大语言模型、数据集、工具还是论文——都以各自原始的许可证存在,但"整理与分类"这一创作行为本身已贡献给公共领域。列表中收录的 Foundation-Sec 模型、garak、promptfoo、Agentic Radar 等项目,各自都是具有实际代码产出的开源项目。
这种"资源导航 + 元数据整理"的模式,是 Awesome 列表类项目的共同特征。它们的贡献不在于代码量,而在于信息组织的质量——分类体系的合理性、收录标准的严格性、更新维护的及时性。Aman Priyanshu 在这份列表中设定的收录标准明确聚焦于"现代 AI 技术(LLM、Agent、多模态)在安全运营中的应用",而非泛化的网络安全资源,这使它与 jivoi/awesome-ml-for-cybersecurity、ottosulin/awesome-ai-security 等同类项目形成了差异化定位。
这份列表最适合以下几类用户:
安全研究员在进行 AI 辅助渗透测试或自动化漏洞分析时,可以快速在 Security Agents 和 Tools 层找到可用工具,避免从零开始调研。AI 工程师如果需要在安全相关场景中引入 LLM,可以在 Models 和 Datasets 层找到经过社区验证的预训练模型和微调数据集,而不是盲目使用通用模型。安全运营团队若希望引入 AI 能力提升告警研判效率,可以在 Benchmarks 层找到评测方法,在 Publications 层找到行业最佳实践。学术研究者则可以通过 Publications 层快速建立对整个领域的全局认知,找到有影响力的论文和数据集作为研究起点。
但这份列表也有明显的局限性:
首先是维护活跃度的不确定性。作为个人维护项目,Awesome 列表的内容更新高度依赖贡献者的持续投入。从 GitHub 活动记录来看,仓库更新频率相对有限,这意味着最新的模型和工具可能无法第一时间被收录。其次,列表对每个收录项目的描述较为简略,主要提供链接而非深度评测——如果你想了解 Foundation-Sec-8B 和 Llama-Primus-Reasoning 在具体任务上的性能差异,这份列表无法直接回答,你需要进一步查阅各自的技术报告。第三,列表中的工具和模型来自不同组织,许可证各异(从 Apache 2.0 到 GPL 到 CC0 不等),实际使用时需要逐一确认合规性。
Awesome AI For Security 的价值,不仅在于它提供了哪些具体资源,更在于它反映了 AI 与安全正在深度融合的行业趋势。
在 2020 年之前,网络安全领域的 AI 应用主要集中在基于机器学习的恶意软件检测、异常流量分析等传统方向。而 2023 年 ChatGPT 掀起的大模型浪潮,带来了全新的可能性:大语言模型具备的自然语言推理、代码理解和多步规划能力,使其可以直接介入安全运营的核心环节——从威胁情报分析、漏洞代码审计、到 Incident Response 的剧本生成,AI 不再只是"特征检测的辅助工具",而是可以承担复杂推理任务的"安全分析师助手"。
这一趋势的背面是对应的安全挑战:如何防止提示注入攻击、如何评估 LLM 生成安全建议的可信度、如何防止训练数据投毒——这些正是列表中 "Security for AI" 相关资源所关注的问题。
Awesome AI For Security 作为这一交叉领域的导航图,其存在本身就说明了 AI 安全已经从"一个小众研究方向"成长为"从业者必须了解的知识领域"。无论你是安全人想拥抱 AI,还是 AI 人想进入安全赛道,这份列表都是值得收藏的起点资源。
项目地址:https://github.com/AmanPriyanshu/Awesome-AI-For-Security
许可证:CC0-1.0(公共领域贡献)
收录资源:安全专用模型、数据集、基准测试、工具框架、学术论文等
维护者:Aman Priyanshu(独立研究员)