📑前言

2024年12月11日，由中国计算机学会计算机视觉专委会（CCF-CV）主办，上海合合信息科技股份有限公司承办，中国运筹学会数学与智能分会协办的“打造大模型时代的可信AI”论坛（以下简称“论坛”）在上海顺利举行。本次活动汇聚了来自上海交通大学、中国科学技术大学、中科院、电子技术标准化研究院等多家知名学术机构及技术企业的顶尖专家，围绕人工智能（AI）的技术风险与治理挑战，展开了深度讨论，探讨如何在大模型时代打造可信AI，推动技术创新与安全治理并行。

一、AI安全治理的紧迫性与必要性

随着AI技术，特别是生成式人工智能（Generative AI）的飞速发展，AI已逐渐融入社会生活的各个方面。然而，伴随技术进步而来的深度伪造、算法偏见、隐私侵权等问题，也给社会秩序、行业发展以及技术安全带来了前所未有的挑战。如何确保AI的安全性，避免技术被滥用，成为了全球范围内的重要议题。

本次的论坛正是基于这一背景应运而生，旨在通过学术界、产业界的深入交流，探索AI安全的技术路径与治理框架，为推动AI的可信发展提供可行的方案和战略。通过与合合信息的紧密合作，论坛特别关注计算机视觉领域的最新进展，围绕如何通过技术手段确保AI的安全性展开讨论。

二、AI安全治理

2.1 技术手段

在本次的论坛开幕式上，上海交通大学人工智能研究院总工程师金耀辉教授发表了题为《智能共生时代：平衡生成式AI的创新与风险》的主题演讲。

他在演讲中强调，在AI技术发展中，安全始终是不可忽视的核心问题。金教授提出了三大技术保障手段，帮助将抽象的安全概念落实到实际的技术研发流程中：“训练对齐、提示引导和文本过滤”。只有在大模型的训练过程中注重这些安全防护手段，才能从源头上避免AI产生偏见、不当行为或生成有害内容，从而构建起一个负责任的AI生态。

对于生成式AI而言，安全对齐的过程是技术治理的重要一环。这一过程的核心是确保AI模型的输出内容符合社会伦理标准、法律规定，并尊重用户隐私与社会价值观。因此，技术手段的不断优化和迭代，就显得尤为重要。

2.2 规范管理

除了对AI安全进行技术性的保障，AI的健康发展还离不开规范化的管理。中国电子技术标准化研究院网安中心测评实验室副主任、CCIA数据安全委员会常务副主任何延哲在论坛上发表了《人工智能安全检测评估的逻辑和要点》报告。

他指出，当前AI安全检测更多集中在内容安全层面，检测方法相对单一，需建立更加完善的检测体系。何延哲提出，AI安全检测应涵盖算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全和科技伦理安全等多个方面，形成一个全面的评估框架。

通过这一框架，技术规范不仅能够帮助行业更好地应对AI发展中的潜在安全风险，也能为政策制定提供支持，促进AI技术的规范发展。

三、技术实践

3.1 深度伪造视频的主动防御与被动检测

AI的安全挑战不仅仅是理论和规范上的问题，更体现在实际应用中的技术突破与实践探索。特别是在合成图像、深度伪造视频等技术的应用，使得AI伪造内容在各行各业中愈加普遍，也随之给安全带来了新的挑战。

论坛上，来自中国科学技术大学的谢洪涛教授通过《深度伪造视频的主动防御与被动检测技术》报告，详细介绍了针对深度伪造视频的治理方案。

谢教授提出，AI伪造视频的防治可以从主动防御和被动检测两大角度入手。

在主动防御方面，他介绍了采用双重水印技术为视频中的人脸图像加密保护，确保视频内容在传播或使用后仍可进行追踪和取证。

在被动检测方面，谢教授分享了基于图像级不一致性和时空身份不一致性的检测方法，可以有效识别伪造视频的迹象，保证内容的真实性。

3.2 视觉内容安全的技术探索与应用

合合信息的图像算法研发总监郭丰俊博士在论坛上，围绕视觉内容安全的内容深入分享了公司在视觉内容安全方面的前沿技术。

他指出，随着生成式人工智能技术的普及，视觉内容的伪造和篡改手段愈发复杂，对社会安全和企业信息保护构成了严峻挑战。

郭博士首先阐述了当前视觉内容安全领域的核心难题。他提到，视觉数据在多次传输、压缩及存档的过程中，常会出现质量退化现象，这种退化可能掩盖篡改痕迹，显著增加检测的难度。为了有效应对这一问题，合合信息研发团队开发了一套篡改检测系统，能够精准捕捉图像篡改留下的微小痕迹。与传统方法相比，这些模型不仅适用于常见的图像伪造形式，还能有效检测AIGC生成内容中的复杂伪造场景，包括深度伪造（Deepfake）、AI换脸及PS伪造等。

在技术创新方面，郭博士特别介绍了团队在频域感知和多尺度特征融合上的突破。例如，通过引入频率感知模块，模型可以提取图像中的隐匿伪造痕迹，即便图像因压缩或存档导致质量显著下降，也能实现高精度检测。同时，多视图迭代解码器的应用让模型可以从不同尺度上融合关键信息，从而进一步提高检测的鲁棒性。

郭博士对视觉内容安全技术的未来进行了展望。他认为，结合生成式人工智能和多模态技术的发展，大模型的应用潜力将得到进一步挖掘。ForgeryGPT等大模型的成功实践表明，未来的内容安全技术不仅可以精准检测和定位伪造内容，还能通过解释性分析报告提升用户的决策能力。这种技术转型将为企业安全管理提供更多的高效解决方案。

合合信息团队在这一领域的创新与努力，不仅为企业和社会提供了强大的视觉安全保障，也进一步奠定了中国科技公司在国际舞台上的技术领导地位。这些技术突破和成果充分展现了人工智能在推动社会和商业生态可持续发展中的重要作用。

四、生成式视觉内容的多模态检测与取证

在AI内容生成与安全治理领域，生成式视觉内容的安全问题尤为突出。中国科学院自动化研究所的赫然博士发表了《生成式人工智能安全与治理》主题演讲。

赫然博士详细分析了虚拟身份、身份重演和人脸驱动等深度合成技术的生成机制，并介绍了如何通过多模态多线索的检测技术，鉴别和取证生成式视觉内容的真伪。

赫然博士指出，生成式AI不仅改变了图像和视频的创作方式，还给网络空间安全带来了新的挑战。

通过深度合成技术，AI能够伪造虚假的视觉内容，导致网络诈骗、身份盗用等安全问题。赫然研究员通过案例分析，介绍了基于图像拼接线索、模型指纹线索等多模态检测技术的应用，并展示了如何在生成内容的全生命周期内进行防护与取证。这一系列技术手段，将为应对生成式视觉内容安全问题提供强有力的支持。

五、尾言

看完了全场直播的我，感想也是颇丰。随着AI技术的迅猛发展，关于可信AI的建设已成为了社会各界的共同责任。从技术创新到治理框架，再到行业自律，AI的安全性和可信度是其持续健康发展的基石。

合合信息作为此次论坛的承办方，企业交流会汇聚了学术界和企业界的专家，通过深入探讨，为AI技术的安全治理提供了具有前瞻性的见解和实践方案，充分展现了我国在AI安全领域的最新成果与实际应用。

正如活动中提出的核心观点：“技术的发展从不止步，只有将安全与创新并重，AI才能真正造福人类社会。”这句话不仅凝聚了行业共识，更为AI技术未来的治理与发展指明了方向。相信未来，在各方的共同努力下，AI技术将能够在更安全、更负责任的环境中持续发展，为全球社会创造更大福祉。