成果速递

模型安全

预训练模型、外包标注数据、分布式训练在AI产业生态中十分重要，而各大第三方模型仓库普遍缺少有效的监管措施，导致系统存在对抗攻击/模型后门隐患。

1. 对抗样本与后门攻防研究

研制新型攻击技术研制能绕过现有多种检测方案

覆盖图像、文本、时序、知识图谱领域关键应用

实证AI供应链下游生态安全面临严峻挑战

2. 分布式学习系统攻防

提出防御算法有效抵御任意比例恶意节点协同攻击

适用MLP、CNN、RNN和BERT 4种典型神经网络架构

已知防御在恶意节点比例超过50%时均失效

3. 无人驾驶模型安全

面向LiDAR目标检测的“可插拔”防御

全面防御4类典型Appearing Attack，蝉联DEFCON无人驾驶安全攻防赛全球总冠军 (2021&2022)

深度整合Apollo开源无人驾驶平台（额外性能开销不超过10ms）

数据安全

面对金钱诱惑，攻击者通过各种手段从端侧和云端窃取模型，形成版权侵害；开放环境下的AI生态正面临中间计算结果泄露用户隐私数据严峻挑战。

1. 模型保护

提出基于特有预测行为的通用模型指纹追溯

盗版追溯能力远超现有技术，适配任意下游模型

作为全国征集的7个AI安全典型实践案例之一，入选信安标委《人工智能安全标准化白皮书》（2022版）

2. 数据隐私

面向大型预训练语言模型的特征逆向攻击，首次证实深度文本表征隐私性几乎等同明文

隐私风险涉及13种大语言模型，获2022年度WAIC青年优秀论文提名奖

基于神经元排他性的训练数据重建，实现用户数据像素级破解

3. 模型窃取

基于神经元不变性的模型版权破坏技术

同时攻破9种发表于各大顶会的主流模型水印方案

模型性能完全无损（理论保证），无需任何先验知识

AI赋能安全

团队致力于运用前沿AI技术赋能网络空间安全，建设攻防自动化和威胁智能感知能力。

1. 抗老化的恶意软件检测

构建节点规模大小超过十万的API知识图谱

覆盖8大类恶意行为，1600余恶意软件家族

获CCS'20 最佳论文提名奖(每年仅4篇)，“为恶意软件智能检测研究带来新的突破”

落地国产自研AI芯片，助力移动应用生态治理

2. 多模态的黑产识别

融合文本、代码、开源威胁情报等多维信息

具备黑产网站/应用主动发现与智能甄别能力

服务国家打击网络犯罪与“黑灰产”行动

3. 推荐算法与社交网络治理

托攻击通过有目的地伪造、更改评分数据，操控推荐结果，网信办《算法推荐管理规定》明确禁止

托攻击检测技术在6种代表性托攻击检测精确度超90%，超SOTA近25%

有效适配多种主流图神经网络架构（GNN）

返回页首