2022年6月10日，由全球计算机视觉领域三大顶会之一的IEEE CVPR举办的AISafety-CVPR2022（即“AI安全”）挑战赛成绩新鲜出炉。我院信息安全与认知实验室许可老师带领4名学生组成SJTU-ICL战队参赛。SJTU-ICL战队在开放集合防御赛题（Track II）中与来自全球126支参赛队伍同场竞技，并最终获得第2名的好成绩（第1名为浙江大华技术股份有限公司），在全球高校战队中排名第一。
图1 SJTU-ICL战队成绩排名
战队在比赛中提出的基于视觉异常痕迹的对抗样本检测方法对于研究深度学习的鲁棒性与可信学习具有重要意义。对抗样本是针对深度学习模型漏洞产生的特殊图片或视频，人眼看来并无异常，但可以混淆或诱导深度学习模型的输出结果，对各行各业中使用的智能模型如人脸识别模型，自动驾驶模型，暴恐图片检测模型等产生了巨大威胁。战队使用了四种攻击方案进行仿真测试，提升对正常样本和对抗样本的检测准确率。
图2 基于视觉异常痕迹的对抗样本检测方案
本次挑战赛由IEEE CVPR 2022、北京航空航天大学、商汤、重明AISafety联合举办，围绕分类任务防御（Track I）、开放集合防御（Track II）两个赛道展开，共吸引了全球160支参赛队伍。该竞赛应对全球AI模型安全领域难点问题而设置的任务，极具挑战性。
信息安全与认识实验室（简称ICL）是上海交通大学网络空间安全学院下属实验室。近年来，实验室在蒋兴浩长聘教授和孙锬锋教授带领下，承担了国家自然科学基金、重点研发计划，国家863计划、GF重点项目等国家级项目12项，其他项目20余项。成果发表在国际权威期刊IEEE T.IFS、IEEET.DSC、IEEET.MM、IEEETCSVT 、IEEE JSTSP、IEEE SPL等20余篇，国际会议ICASSP、ICME、UAI、CGI、APASIA、CSIP、IWDW等90余篇。目前团队在读博硕研究生 20 人。主要研究方向：数字视频被动取证技术，AI 模型漏洞分析与对抗样本攻防技术，视频隐写与隐写分析技术，生物特征鲁棒识别技术，复杂场景异常行为分析技术等方向。
