JADE：基于语言学变异的大模型靶向式
安全评测平台

摘要： 我们提出了大模型靶向式安全评测平台–JADE，通过自动化增强给定种子问题的语言复杂度，同时攻破十余款国内外知名大语言模型的安全防护机制。JADE针对国内开源（中文，8款）、国内商用（中文，6款）和国外商用大模型（英文，4款）三组大模型分别生成三个通用高危自然文本测试集，每组模型在对应测试集上的平均违规率均超过70%（此处仅列国内开源和国外商用），其中测试问题均可同时触发多款模型违规生成。同时，我们发布面向国内开源和国外商用大模型的Demo数据集，分别包含150个和80个测试问题（不含核心价值观部分）。若希望在JADE产生的更多未公开测试问题上进行安全评测，欢迎联系我们^*。

大模型靶向式安全评测平台JADE通过语言学变异模块+安全合规评测模块组成的反馈-迭代机制，实现了全自动的大模型安全评测与高风险问题收集。JADE可针对指定内容生成靶向式（保留核心语义）高风险自然文本，具有强迁移性（触发多个大模型同时违规）。我们首次发现，语言的复杂性导致现有大模型难以学习到人类无穷多种表达方式，因此无法识别其中不变的违规本质。