「Do Anything Now」：首个大规模野外越狱Prompt研究项目想象一下：有人在社交平台上分享一段「咒语」，ChatGPT 就会放下所有安全限制，有问必答——这听起来像是科幻小说，却是 2023 年真实发生的事情。当全球用户还在惊叹 ChatGPT 的强大能力时，安全研究者们已经敏锐地注意到：有人正在系统性地研究如何「越狱」这些 AI 模型。## 从学术论文到开源项目：JailbreakHub 的诞生这个项目源于一篇真正的学术论文——由 UCLA Xinyue Shen、慕尼黑大学 Michael Backes 等研究者联合撰写的 CCS 2024 顶会论文《「Do Anything Now」：野外越狱Prompt的特征与评估》。研究团队构建了一个名为 JailbreakHub 的采集分析框架，系统性地对 2022 年 12 月至 2023 年 12 月期间互联网上的越狱 Prompt 现象进行了首次大规模测量研究。从数据规模看，研究团队从 Reddit r/ChatGPT、r/ChatGPTJailbreak 等社区，Discord 上的 ChatGPT 相关服务器，以及 FlowGPT、AIPRM 等 Prompt 分享网站，爬取并整理了总计 15,140 条真实 Prompt。经过专业标注，其中 1,405 条被判定为越狱 Prompt，涵盖了 13 种安全违规场景——从恶意软件生成、经济欺诈，到仇恨言论、政治游说，无所不包。## 数据集的使用方式：像加载普通数据一样简单项目最友好的设计在于数据使用方式。研究者将完整数据集同步发布在 HuggingFace 上，任何人都可以用三行代码加载数据：pythonfrom datasets import load_datasetdataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'jailbreak_2023_05_07', split='train')这个项目还提供了一个配套的 390 题禁区问题集（TrustAIRLab/forbidden_question_set），问题覆盖了 OpenAI 使用政策中定义的 13 种禁区场景，供研究者测试不同 LLM 对越狱攻击的抵抗能力。## 代码模块：ChatGLMEval 评估框架与语义可视化项目的 code/ChatGLMEval 目录提供了一个基于 ChatGLM 的评估框架，开发者可以导入自己的数据集路径，运行 run_evaluator.py 来评估 LLM 在面对越狱 Prompt 时的安全表现。code/semantics_visualization/visualize.ipynb 则提供了语义层面的可视化工具，可以直观看到不同类型越狱 Prompt 在语义空间中的分布规律。整个代码库以 Jupyter Notebook 为主要开发形式，语言为 Jupyter Notebook（Python为核心），代码量适中，结构清晰，主要用于数据处理和可视化。## 部署体验：极简主义坦白说，这不是那种需要折腾 Docker、配置 GPU 的复杂项目。克隆仓库后，你只需要一个 Python 3.8+ 环境，加上 datasets 库，就能开始分析数据。数据以 CSV 文件存储在 data/ 目录下，README 里有完整的数据字典说明。没有 Web UI，没有 API 服务，纯本地数据集+分析脚本组合。不过需要提醒的是：原始 Prompt 数据中可能存在重复，需要预处理去重（研究者也在论文中提到了这一点）。另外 HuggingFace 上的数据集较大，下载可能需要一些时间。## 研究意义：安全研究的「预警系统」在 AI 安全领域，越狱（Jailbreak）是 LLM 部署中最棘手的挑战之一。这个项目的核心价值不在于「教你怎么越狱」——README 里明确写了「Disclaimer: This repo is intended for research purposes only. Any misuse is strictly prohibited.」——而在于提供了一个系统性的研究样本库。研究者已经向各大 LLM 厂商负责任地披露了相关发现。对于想要构建更强大安全防护的 AI 工程师而言，这个数据集是难得的 Benchmark：你可以用这 1,405 条越狱 Prompt 测试自己的安全过滤系统，覆盖面远超自己造的数据。对于 Prompt 工程研究者，这些真实案例也是理解用户如何与 AI 交互的重要素材。该项目在 GitHub 上已获得 3,600+ stars，表明学术界和工业界对 LLM 安全问题的高度关注。随着开源 LLM 越来越多，如何防止模型被恶意使用，将是持续性的重要议题。---数据来源：GitHub verazuo/jailbreak_llms，HuggingFace TrustAIRLab/in-the-wild-jailbreak-prompts，ACM CCS 2024 论文