[译][AI OpenAI-doc] 安全最佳实践

简介: 这篇文章总结了安全最佳实践,涵盖了使用免费 Moderation API 减少不安全内容频率的建议,对抗性测试的重要性,人在环路中审查输出的必要性,以及限制用户输入输出标记和允许用户报告问题的方法。文章强调了理解和沟通模型的限制的重要性,并提供了关于最终用户 ID 的建议。

使用我们的免费 Moderation API

OpenAI 的 Moderation API 是免费使用的,可以帮助减少您完成中不安全内容的频率。或者,您可能希望开发自己的内容过滤系统,以适应您的使用情况。

对抗性测试

我们建议对您的应用进行“红队测试”,以确保其对对抗性输入具有强大的韧性。测试您的产品在广泛范围的输入和用户行为下,包括代表性集合以及反映试图“破坏”您的应用的行为。它是否偏离了主题?是否有人可以轻易通过提示注入来重定向功能,例如“忽略之前的指令,改为执行这个”?

人在环路中 (HITL)

在可能的情况下,我们建议在实际使用之前由人类审查输出。这在高风险领域以及代码生成方面尤其关键。人类应该意识到系统的局限,并可以访问任何验证输出所需的信息(例如,如果应用程序总结笔记,则人类应该可以轻松访问原始笔记以供参考)。

提示工程

“提示工程”可以帮助限制输出文本的主题和语气。这可以减少产生不良内容的机会,即使用户试图产生它。向模型提供额外的上下文(例如,在输入新内容之前提供一些期望行为的高质量示例)可以更容易地引导模型输出到期望的方向。

“了解您的客户” (KYC)

用户通常需要注册并登录才能访问您的服务。将此服务与现有帐户(例如 Gmail、LinkedIn 或 Facebook 登录)关联可能会有所帮助,但对于所有用例可能并不适用。要求信用卡或身份证进一步降低了风险。

限制用户输入并限制输出标记

限制用户可以输入到提示中的文本量有助于避免提示注入。限制输出标记的数量有助于减少误用的机会。

缩小输入或输出范围,特别是来自可信来源的范围,可以降低应用程序内可能发生的误用程度。

通过经过验证的下拉字段允许用户输入(例如,维基百科上的电影列表)可能比允许开放式文本输入更安全。

在可能的情况下,从后端返回经过验证的一组材料的输出可能比返回新生成的内容更安全(例如,将客户查询路由到最匹配的现有客户支持文章,而不是尝试从头回答查询)。

允许用户报告问题

用户通常应该有一个易于获得的方法来报告关于应用程序行为的不当功能或其他关切(列出的电子邮件地址、提交票据的方法等)。这种方法应由人员监控,并根据情况予以回应。

了解并沟通限制

从产生错误信息、冒犯性输出、偏见等等,语言模型可能并不适合每个用例而不经过重大修改。考虑模型是否适合您的目的,并评估 API 在各种潜在输入中的性能,以确定 API 的性能可能下降的情况。考虑您的客户群体及其将使用的输入范围,并确保他们的期望得到适当的调整。

安全性和保障对我们在 OpenAI 的重要性不言而喻。

如果在开发过程中您注意到 API 或与 OpenAI 相关的任何其他内容存在任何安全问题或安全问题,请通过我们的协调漏洞披露计划提交这些问题。

最终用户 ID

在您的请求中发送最终用户 ID 可以是一个有用的工具,帮助 OpenAI 监控和检测滥用行为。这样,OpenAI 在检测到您的应用程序中存在任何政策违规时,可以为您的团队提供更具操作性的反馈。

这些 ID 应该是一个字符串,唯一标识每个用户。我们建议对其用户名或电子邮件地址进行哈希处理,以避免向我们发送任何识别信息。如果您向非登录用户提供产品预览,您可以发送会话 ID。

您可以通过以下方式在 API 请求中包含最终用户 ID:

from openai import OpenAI
client = OpenAI()

response = client.completions.create(
  model="gpt-3.5-turbo-instruct",
  prompt="This is a test",
  max_tokens=5,
  user="user_123456"
)

相关文章
|
5月前
|
SQL 人工智能 关系型数据库
AI Agent的未来之争:任务规划,该由人主导还是AI自主?——阿里云RDS AI助手的最佳实践
AI Agent的规划能力需权衡自主与人工。阿里云RDS AI助手实践表明:开放场景可由大模型自主规划,高频垂直场景则宜采用人工SOP驱动,结合案例库与混合架构,实现稳定、可解释的企业级应用,推动AI从“能聊”走向“能用”。
1159 39
AI Agent的未来之争:任务规划,该由人主导还是AI自主?——阿里云RDS AI助手的最佳实践
|
5月前
|
人工智能 自然语言处理 前端开发
最佳实践2:用通义灵码以自然语言交互实现 AI 高考志愿填报系统
本项目旨在通过自然语言交互,结合通义千问AI模型,构建一个智能高考志愿填报系统。利用Vue3与Python,实现信息采集、AI推荐、专业详情展示及数据存储功能,支持响应式设计与Supabase数据库集成,助力考生精准择校选专业。(239字)
547 12
|
5月前
|
传感器 人工智能 运维
拔俗AI巡检系统:让设备“会说话”,让隐患“早发现”,打造更安全高效的智能运维
AI巡检系统融合AI、物联网与大数据,实现设备7×24小时智能监测,自动识别隐患并预警,支持预测性维护,提升巡检效率5倍以上,准确率超95%。广泛应用于工厂、电力、交通等领域,推动运维从“被动响应”转向“主动预防”,降本增效,保障安全,助力数字化转型。(238字)
777 0
|
6月前
|
传感器 人工智能 监控
建筑施工安全 “智能防线”!AI 施工监测系统,全方位破解多场景隐患难题
AI施工监测系统通过多场景识别、智能联动与数据迭代,实现材料堆放、安全通道、用电、大型设备及人员行为的全场景智能监管。实时预警隐患,自动推送告警,联动现场处置,推动建筑安全从“人工巡查”迈向“主动防控”,全面提升施工安全管理水平。
1209 15
|
6月前
|
人工智能 安全 网络安全
从不确定性到确定性,“动态安全+AI”成网络安全破题密码
2025年国家网络安全宣传周以“网络安全为人民,靠人民”为主题,聚焦AI安全、个人信息保护等热点。随着AI技术滥用加剧,智能化攻击频发,瑞数信息推出“动态安全+AI”防护体系,构建“三层防护+两大闭环”,实现风险前置识别与全链路防控,助力企业应对新型网络威胁,筑牢数字时代安全防线。(238字)
387 1
|
6月前
|
人工智能 安全 网络安全
阿里云亮相2025国家网安周 | 首次提出AI全栈安全
了解阿里云最新的AI安全产品技术
1567 1
人工智能 安全 Ubuntu
1457 0
|
6月前
|
人工智能 运维 安全
从“裸奔”到“金钟罩”:AI身份凭据安全的进化之路
构建身份权限安全,护航企业数据合规
1696 37
|
7月前
|
存储 人工智能 安全
【阿里云基础设施 AI Tech Day】 AI Infra 建设方案及最佳实践沙龙圆
聚焦 AI Infra 建设方案及最佳实践,「智驱未来,云网随行:AI Infra 建设方案及最佳实践」沙龙阿里云基础设施 AI Tech Day 北京站于 8 月 8 日下午在北京全球创新社区顺利举办,活动现场吸引了来自月之暗面、字节、小米、爱奇艺、360、雪球、猿辅导、奥迪等 16 家相关 AI 领域领先企业或有AI建设诉求企业的 32 名业务/技术骨干参与。本次技术沙龙旨在聚焦企业建设高效、高可用的 AI Infra,深入解析 AI 驱动的原子能力与场景化架构设计,分享从基础网络建设、算力池化、存储调度,以及 VPC RDMA 性能优化、Agent 智能体出海等场景的全链路方案,助力企业
591 1
|
7月前
|
人工智能 安全 测试技术
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台
259 2
RidgeBot 5.4.5 - 基于 AI 的主动安全验证平台