近日，由专业技术学会 IEEE 与前沿科技探索社区 ATEC 联合主办的技术沙龙 IEEE x ATEC 科技思享会上，五位高校研究人员从不同角度就智能化时代的安全风险识别与防御手段展开了深入探讨。
一、全局视角，烧脑有道
科技思享会的出品人西安交通大学教授沈超的分享，也恰如其分地呼应了这辆 “列车” 的各个组件，并提点应关注每个环节的安全风险与防御手段，构建起 “全局微观” 的问题视角 。
就数据层面而言，在模型训练过程中，如果训练数据集受到恶意篡改，模型性能就会被影响，这一阶段的攻击主要包括数据投毒和后门攻击。
以后门攻击为例，沈超团队利用自己开发的工具对其下载的某领域最受欢迎的前 500 个模型进行后门检测，结果发现大量公开模型存在许多后门点。后门植入比较简单，将这些后门找出来却非常困难，很多比较前沿的后门植入方式会让后门变得更加自然、不突兀。
例如，武汉大学教授王骞在思享会上分享了他们团队精心设计的一个基于注意力机制的后门触发器模具选择算法，他们在后门触发器生成的损失函数中引入了体验质量 (QoE) 项，并仔细调整了后门触发器的透明度，从而达到规避人眼视觉检查的作用。
沈超老师分享道，目前，学术领域及工业界关注的后门检测环节主要三类：摄动输入聚类分析、隐层输出轨迹分析、智能模型参数分析，它们分别对应模型部署、集成和模型推断。后门检测方法也因此分为三类：白盒、灰盒以及纯黑盒。
不过，不同检测方法都有其适用条件和局限性。例如，白盒方法意味着要知道模型所有细节。纯黑盒检测意味着输入阶段需要有大量后门样本，前期样本收集和评价非常关键。
除了数据投毒、后门等主流攻击风险，不少嘉宾还在会上强调了训练过程中的数据隐私问题。
Clearview 30 亿人脸数据泄露事件曾震惊世界。针对人脸等生物特征数据泄露隐患，生物特征识别领域提及较多的是联邦学习。“在生物识别当中，我们只需要最终得到一个训练好的模型，至于他用到什么样的数据进行训练，我们不去过多关注，避免数据泄漏风险。” 北京邮电大学人工智能学院研究员张曼在思享会上介绍到。
不过，在某些特定条件下，联邦学习场景也存在隐私数据被窃取的可能性。王骞团队探索了当服务器可能为恶意时的隐私泄露风险问题，并提出了一种基于 GAN 的用户训练数据重建攻击。在训练过程中，服务器在与参与者共同完成模型训练任务的同时，额外训练一个 GAN，其中的生成器用于仿造用户数据集中的样本，判别器则帮助改进仿造的结果。在每一轮训练中，服务器根据受害者上传的参数，构建出能与其获得相似结果的数据表征，并连同更新参数一同用于训练 GAN 中的判别器，以此不断改进生成器重建出的样本与原始训练数据的相似程度。实验结果显示，对比其他同类攻击，该方案重建出的图像与训练数据更为相似。
就算法层面而言，风险更突出地表现在模型推理过程中。如果对输入的测试样本进行恶意篡改，则有可能欺骗模型使其做出错误决策，这一阶段的攻击主要为对抗样本攻击。
与传统机器学习攻防研究关注手工特征、聚焦浅层模型应用不同，对抗性样本的攻防侧重对原始数据做扰动，多集中在深度学习最擅长智能语音、视频、NLP 等领域，强调的是模型高度敏感但人类难以察觉的对抗扰动。
思享会上，王骞分享了他们特别针对知名智能语音系统进行安全测试，成功实现了对抗样本攻击。其团队提出的两种黑盒语音对抗攻击方案——Occam 和 NI-Occam。前者，在只依赖识别结果的情况下，生成具有 100% 攻击成功率的语音对抗样本。后者则是针对物理域的语音控制设备提出的一种非交互式的黑盒攻击，其攻击成功率达到了 52%。
为了一定程度上缓解、遏制对抗攻击对于部分场景的影响，沈超团队的主要思路是利用模型可解释性，获取样本关键区域，并对这种可解释性关键区域提出基于模型的可解释性感知图的对抗攻击。另外，针对对抗环境中算法的多样性和信息获取的完整性，可利用平移空间的对抗样本的通用性和可转接性进行激励，设计相关敏感频带定位方法。
沈超在会上介绍到，他们会利用多层级领域分布探索机制，并基于自蒸馏的动态软标签预测机制，和自监督的动态软标签对抗防御方法来防御统计噪声和对抗扰动造成的负面影响。
值得注意的是，与对抗性样本密切相关的社会热点——深度伪造，也得到了思享会的热烈讨论。
沈超指出，现有的深度伪造检测方法各异，缺乏在统一数据集上进行公平的对比，检测能力评测指标单一且不完善，缺乏对性能指标的评价。
除了构建深度伪造基准数据集，沈超团队也在探索更加高效、高精度的伪造检测方法。例如，采用关键帧的检测、多帧输入的模型检测设计，来对多类的深度伪造检测方法进行比对，在检测精度不下降的前提下，效率可以提升 10% 以上。
由于在自动提取特征时将白雪背景作为了识别狼的标志，有的深度学习系统会将西伯利亚哈士奇识别为狼。一旦有敌手从旁干扰，系统就崩溃。深度网络似乎什么都知道，但其实什么都不知道。
工业界、学术界都意识到了深度学习可解释性的重要性，既要追求模型预测精度又要求模型具有可解释性也成为模型算法层面挥之不去的尖锐挑战。
沙龙活动上，在分享针对在线交易欺诈风险应对之策时，北京航空航天大学人工智能研究院学院研究员庄福振分享了一个兼顾神经网络识别准确性和可解释性的案例。
当一个电商平台在新的地域开展业务时，可能因数据量少而不能建立一个较好的欺诈交易检测模型。庄福振团队和蚂蚁集团联合研究，提出了一个迁移学习框架，旨在从具有足够成熟数据的源领域迁移知识，以提高目标领域的性能。由于不同地域的相同字段对应的取值可能不同，例如中国跟越南的消费字段、消费额不同，同样的商品在中国可能是 0 到 100 块钱，而在越南可能就不是。所以，不同地域的用户行为习惯可能不同，相同的行为序列提取器可能无法同时对两个地域有效。于是，他们将行为序列提取器也分为 Domain-Specific 和 Domain-Shared，即把一些特定的或者是领域不变的一些特征迁移过来，保持自身领域特有的一些东西，使用注意力机制来自动学习两者权重，感知哪个领域的特征对预测的帮助更大，从而使得预测结果具有更好的可解释性。
同样围绕可解释性目标，沈超提出了一种度量模型可解释性的方法——从输出到输入的特征归因。“观察每个输出决策部分，对应样本的输入特征是什么？这样一个对应映射关系，在一定程度上可以作为模型可解释性的度量方法。”他解释到。
在万物互联趋势下，当模型落地到复杂现实场景时，系统及硬件层面的风险同样不容忽视。
思享会上，张曼分享了物联网系统带来的鲁棒性问题。在生物特征识别场景下，摄像头厂家有许多不同型号、参数的产品，成像效果差异也大。一旦到了复杂的非受控场景，光照、噪声等变化都会影响到识别系统的效果。如何在多元化的数据中快速准确进行身份认证就是一个新的挑战。
除了算法落地过程中的不稳定“外因”，人也成为系统层面的不稳定“内因”。正如沈超在会上分享的，不管国内还是国外的，底层的依赖库、代码框架都是由程序员编写，海量代码一定存在安全隐患。沈超提醒了这些可能导致机器学习系统崩溃的人为漏洞的存在，并强调了开发相应工具对软件框架（如 TensorFlow） 进行脆弱性检测和安全隐患定位的必要性。
先进技术的风险并非孤立存在，而是 “牵一发，动全局”-—在这趟“高速前进的列车” 上，外部环境对数据的扰动会影响算法决策引擎，而决策本身又深度依赖列车系统的正常运转。随着这样的技术与现实世界深度交融，智能化时代生存法则需要产学研各界人士协力探索。
二、科技思享会：倾听 “技术应用” 的复杂性
作为沙龙活动的发起方，IEEE 是全球最大专业技术组织，前沿科技探索社区 ATEC 本身蕴含深厚的行业影响力，发起者产学研结合的背景，也在与会嘉宾的共通背景中得到了微妙呼应。
与传统观念中的学者刻板印象不同，这些网络安全领域的教授、博导们有着丰富的企业横向课题经验甚至初创企业经验，一部分科研成果已经在产业落地并对实践产生积极影响，因此，也更有能力游刃于产业落地、社会热点与科技前沿话题。
例如，沈超团队的相关研究成果已广泛用于多场景、多终端的人机行为身份认证系统，不仅能提升数据安全保护性能，还降低了客户接入成本以及系统运营成本；
庄福振团队的在线支付欺诈研究工作直接将真实工业场景里关注的低用户打扰率时的召回率作为工作评价指标，要求模型既能做到欺诈交易识别的高度覆盖，又不能打扰正常的交易。
沈超认为，在未来的研究工作之中，数据和机理融合很重要。现在的模型都是通过数据驱动来形成的，模型本身一定要与当前的业务场景相结合，需要对应用场景的机理进行理解，形成对网络欺诈的智能识别防御，这也是一个比较好的研究方向。
王亦洲教授曾撰文写道：做 AI 研究，“复杂度”是一个关键词。环境复杂度、任务复杂度、系统复杂度决定了 AI 的水平。对它的研究可以揭示 AI 产生原理，也可以回答 AI 的终极问题，即对人类命运的最终影响。未来可信 AI 研究，也要从复杂度分析来看 AI 为人类带来的价值，更需要学界和产业界共同努力来推动。
作为冲在一线的产业界，往往能更直观地感受到智能化时代全局风险和微观痛点，对产学研结合的领先技术需求也更为迫切。
例如，工业界从 2015 年起，便在一些业务场景中采用 AI 安全技术，来保护用户隐私；微软、谷歌、IBM、蚂蚁集团等科技巨头纷纷重投可信 AI，设立相关部门或项目，开始为 AI“刹车”。
为了实现数据的可用不可见，蚂蚁集团构建了多方安全计算平台、与可信的计算环境，采用了同态加密、差分隐私、零知识证明等技术。
隐私计算效率在提高，但还处在起步阶段，产品成熟度与工程化水平如何获得更好提升？性能与安全如何兼得？如何获取用户对技术信任？要获得好的解决方案，企业不能与世隔绝，而是要把更多的 “零部件” 都放到产学研交流的桌面上。
与此同时，也应该看到当金融、医疗保健领域高管们被错误认知误导时，也会大大拖延人工智能在这些高风险领域的落地。例如，关于模型的预测精度 VS 可解释性的非此即彼的二分思维。
借助大家都理解的方式，科技思享会可以帮助从业者摆脱行为和思考模式“单向化”，甚至激发他们从这些外部环境引入新想法，应用到新问题中。
今天的青年技术人，是未来的重要技术力量。
王亦洲教授指出，在学生现在的学习和生活中，就应了解学术的前沿，以及业界最新技术趋势，思考哪些技术可以应用到哪些问题上，主动观察了解所处的世界以及业界需求痛点和技术瓶颈。
这意味着除了创新思路、扎实的功底，青年技术人还要有实际的落地应用能力，既看得到远方又不脱离实际。
比起传统象牙塔内的授课或演讲，网络无疑具有更快的传播速度与更低的传播成本，科技思享会赋予青年技术人一个更具社交辐射能力的空间，不仅帮助他们了解学术前沿和最新的业界技术趋势，思考学以致用的路径，还可以从碰撞中摸索更有兴趣的职业道路。
三、拓展对未知的认知
人类对智能化的探索并非一条简单的直线。在增强人类现有技能，获得更多实惠的同时，也在周而复始、螺旋循环中经历各种意外与试错。
“人类的错误史也许比那些发明更有价值，更有趣。” 发明家本杰明 · 富兰克林曾言。因此，创造一个类似社会学家 Ray Oldenburg 所说的“第三空间”（third place）——一种有别于封闭的家庭或办公室连接环境的赛博空间变体（18 世纪曾是咖啡馆、20 世纪曾是 Homebrew Computer Club ），将有助于不同思想的有效碰撞与重组，让那些试错与意外化为新技术扎根的沃土。
IEEE x ATEC 科技思享会将定期举办，每月一场。在这个赛博空间会客厅，无论是科技公司高管、计算机科学家还是青年学子，这些志同道合者或为研究辩护、自省，或谈论产业落地方法和细节，分享研究与实践趣味，促进彼此改善思维甚至实践方式。当有一天这些对话汇总在一起时，希望能拓宽我们对 “数字世界” 的认知边界。
