《大模型安全研究报告(2024年)》正式发布

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全态势管理CSPM免费试用,1000次1年
云安全中心漏洞修复资源包免费试用,100次1年
简介: 速来get~

2024年9月19日,在杭州举行的云栖大会—AI治理与安全论坛上,阿里云智能集团标准化业务副总裁朱红儒女士与中国信息通信研究院安全所副总工程师杨剑锋共同发布了《大模型安全研究报告(2024年)》。该报告提出了全面的大模型安全框架,为行业安全治理提供了指导和最佳实践。报告深入探讨了大模型的技术演进过程、面临的安全风险及安全保护措施,并提出了未来发展的建议。
640.png
全球大模型技术竞赛正推动人工智能向通用强智能发展,引发人机交互和应用研发模式变革。大模型在各行业的广泛应用为第四次工业革命提供动力,但同时也带来安全风险,如模型“幻觉”和指令注入攻击。国际组织和主要国家通过制定治理原则、法律法规和技术标准来应对这些挑战。同时,大模型在逻辑推理、任务编排等方面的卓越能力,为解决网络空间安全瓶颈问题带来了新的机遇。

为有效防范和消减大模型的安全风险,并促进其在安全领域的应用,阿里云联合中国信息通信研究院等30余家行业单位共同编制《大模型安全研究报告(2024年)》。报告凝聚业界专家共识,聚焦当前大模型突出安全风险和网络空间安全瓶颈问题,从大模型自身安全和大模型赋能安全两个维度,提出涵盖安全目标、安全属性、保护对象、安全措施四个方面的大模型自身安全框架,以及大模型赋能安全框架。期待这些框架能为社会各方提供有益参考,共同推动大模型技术产业的健康发展。640 (1).png
报告主要内容包括:

大模型安全风险地图

为尽可能全面应对大模型领域的基础共性安全挑战,本报告优先对语言、多模态等各类基础大模型系统的安全风险进行系统梳理。与此同时,参考ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准,将基础大模型系统抽象为训练数据、算法模型、系统平台和业务应用4个重要组成部分,并通过描绘这四个组成部分面临的重要和一般安全风险,形成大模型安全风险地图,共涵盖21个安全风险。

大模型自身安全框架

为消减大模型面临的基础共性安全风险出发,提出了涵盖安全目标、安全属性、保护对象、安全措施四个层面的大模型自身安全框架,构建了保障大模型安全的整体解决方案。同时,提出训练数据、模型算法、系统平台、业务应用四方面中共计16项安全保护措施。

大模型赋能安全框架

结合行业实践情况,本报告重点阐述大模型在网络安全、数据安全、内容安全三个领域的潜在应用方向。网络安全领域,大模型可应用于安全威胁识别、保护、检测、响应、恢复等多个保护环节中的关键场景。数据安全领域,大模型可应用于数据分类分级、APP(SDK)违规处理个人信息检测等场景。内容安全领域,大模型可应用于文本内容安全检测、图像视频内容安全检测和音频内容安全检测等场景。

目录
打赏
0
6
7
1
1855
分享
相关文章
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
OpenDeepResearcher 是一款开源 AI 研究工具,支持异步处理、去重功能和 LLM 驱动的决策,帮助用户高效完成复杂的信息查询和分析任务。
223 18
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
Pixtral-12B是由Pravesh Agrawal等人开发的多模态语言模型,拥有120亿参数,能处理自然图像和文档,在多模态基准测试中表现卓越。它不仅在多模态任务上表现出色,且未牺牲自然语言处理性能,采用全新视觉编码器,支持灵活图像处理。相比其他开源模型,Pixtral-12B性能优异,甚至超越更大规模模型。研究团队还发布了MM-MT-Bench基准测试,推动多模态模型评估标准化。尽管面临一些挑战,Pixtral-12B为多模态语言模型的发展提供了新动力。
55 18
FunAudioLLM 技术评测报告
【7月更文第31天】随着人工智能技术的迅速发展,语音识别和语音合成技术已经成为日常生活中不可或缺的一部分。FunAudioLLM 作为一款开源的语音大模型,致力于提供高质量的语音服务,支持多种应用场景。本次评测将重点评估 FunAudioLLM 在性能、功能及技术先进性方面的能力,并将其与国际知名的大规模语音模型进行比较。
245 2
16CODEIPPROMPT:顶会ICML’23 从GitHub到AI,探索代码生成的侵权风险与缓解策略的最新进展:训练数据`有限制性许可;模型微调+动态Token过滤【网安AIGC专题11.8】
16CODEIPPROMPT:顶会ICML’23 从GitHub到AI,探索代码生成的侵权风险与缓解策略的最新进展:训练数据`有限制性许可;模型微调+动态Token过滤【网安AIGC专题11.8】
175 1
24 LLM错误代码补全:机器学习顶会NeurIPS‘23 智能体评估:自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
24 LLM错误代码补全:机器学习顶会NeurIPS‘23 智能体评估:自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
442 0
实验:CSS+Div基础 - 预习报告
网页设计技术实验预习报告。
319 1
实验:CSS+Div基础 - 预习报告
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等