2024年9月19日，在杭州举行的云栖大会—AI治理与安全论坛上，阿里云智能集团标准化业务副总裁朱红儒女士与中国信息通信研究院安全所副总工程师杨剑锋共同发布了《大模型安全研究报告（2024年）》。该报告提出了全面的大模型安全框架，为行业安全治理提供了指导和最佳实践。报告深入探讨了大模型的技术演进过程、面临的安全风险及安全保护措施，并提出了未来发展的建议。
全球大模型技术竞赛正推动人工智能向通用强智能发展，引发人机交互和应用研发模式变革。大模型在各行业的广泛应用为第四次工业革命提供动力，但同时也带来安全风险，如模型“幻觉”和指令注入攻击。国际组织和主要国家通过制定治理原则、法律法规和技术标准来应对这些挑战。同时，大模型在逻辑推理、任务编排等方面的卓越能力，为解决网络空间安全瓶颈问题带来了新的机遇。
为有效防范和消减大模型的安全风险，并促进其在安全领域的应用，阿里云联合中国信息通信研究院等30余家行业单位共同编制《大模型安全研究报告（2024年）》。报告凝聚业界专家共识，聚焦当前大模型突出安全风险和网络空间安全瓶颈问题，从大模型自身安全和大模型赋能安全两个维度，提出涵盖安全目标、安全属性、保护对象、安全措施四个方面的大模型自身安全框架，以及大模型赋能安全框架。期待这些框架能为社会各方提供有益参考，共同推动大模型技术产业的健康发展。
报告主要内容包括：
大模型安全风险地图
为尽可能全面应对大模型领域的基础共性安全挑战，本报告优先对语言、多模态等各类基础大模型系统的安全风险进行系统梳理。与此同时，参考ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准，将基础大模型系统抽象为训练数据、算法模型、系统平台和业务应用4个重要组成部分，并通过描绘这四个组成部分面临的重要和一般安全风险，形成大模型安全风险地图，共涵盖21个安全风险。
大模型自身安全框架
为消减大模型面临的基础共性安全风险出发，提出了涵盖安全目标、安全属性、保护对象、安全措施四个层面的大模型自身安全框架，构建了保障大模型安全的整体解决方案。同时，提出训练数据、模型算法、系统平台、业务应用四方面中共计16项安全保护措施。
大模型赋能安全框架
结合行业实践情况，本报告重点阐述大模型在网络安全、数据安全、内容安全三个领域的潜在应用方向。网络安全领域，大模型可应用于安全威胁识别、保护、检测、响应、恢复等多个保护环节中的关键场景。数据安全领域，大模型可应用于数据分类分级、APP（SDK）违规处理个人信息检测等场景。内容安全领域，大模型可应用于文本内容安全检测、图像视频内容安全检测和音频内容安全检测等场景。
