[译][AI OpenAI-doc] 安全最佳实践

简介: 这篇文章总结了安全最佳实践,涵盖了使用免费 Moderation API 减少不安全内容频率的建议,对抗性测试的重要性,人在环路中审查输出的必要性,以及限制用户输入输出标记和允许用户报告问题的方法。文章强调了理解和沟通模型的限制的重要性,并提供了关于最终用户 ID 的建议。

使用我们的免费 Moderation API

OpenAI 的 Moderation API 是免费使用的,可以帮助减少您完成中不安全内容的频率。或者,您可能希望开发自己的内容过滤系统,以适应您的使用情况。

对抗性测试

我们建议对您的应用进行“红队测试”,以确保其对对抗性输入具有强大的韧性。测试您的产品在广泛范围的输入和用户行为下,包括代表性集合以及反映试图“破坏”您的应用的行为。它是否偏离了主题?是否有人可以轻易通过提示注入来重定向功能,例如“忽略之前的指令,改为执行这个”?

人在环路中 (HITL)

在可能的情况下,我们建议在实际使用之前由人类审查输出。这在高风险领域以及代码生成方面尤其关键。人类应该意识到系统的局限,并可以访问任何验证输出所需的信息(例如,如果应用程序总结笔记,则人类应该可以轻松访问原始笔记以供参考)。

提示工程

“提示工程”可以帮助限制输出文本的主题和语气。这可以减少产生不良内容的机会,即使用户试图产生它。向模型提供额外的上下文(例如,在输入新内容之前提供一些期望行为的高质量示例)可以更容易地引导模型输出到期望的方向。

“了解您的客户” (KYC)

用户通常需要注册并登录才能访问您的服务。将此服务与现有帐户(例如 Gmail、LinkedIn 或 Facebook 登录)关联可能会有所帮助,但对于所有用例可能并不适用。要求信用卡或身份证进一步降低了风险。

限制用户输入并限制输出标记

限制用户可以输入到提示中的文本量有助于避免提示注入。限制输出标记的数量有助于减少误用的机会。

缩小输入或输出范围,特别是来自可信来源的范围,可以降低应用程序内可能发生的误用程度。

通过经过验证的下拉字段允许用户输入(例如,维基百科上的电影列表)可能比允许开放式文本输入更安全。

在可能的情况下,从后端返回经过验证的一组材料的输出可能比返回新生成的内容更安全(例如,将客户查询路由到最匹配的现有客户支持文章,而不是尝试从头回答查询)。

允许用户报告问题

用户通常应该有一个易于获得的方法来报告关于应用程序行为的不当功能或其他关切(列出的电子邮件地址、提交票据的方法等)。这种方法应由人员监控,并根据情况予以回应。

了解并沟通限制

从产生错误信息、冒犯性输出、偏见等等,语言模型可能并不适合每个用例而不经过重大修改。考虑模型是否适合您的目的,并评估 API 在各种潜在输入中的性能,以确定 API 的性能可能下降的情况。考虑您的客户群体及其将使用的输入范围,并确保他们的期望得到适当的调整。

安全性和保障对我们在 OpenAI 的重要性不言而喻。

如果在开发过程中您注意到 API 或与 OpenAI 相关的任何其他内容存在任何安全问题或安全问题,请通过我们的协调漏洞披露计划提交这些问题。

最终用户 ID

在您的请求中发送最终用户 ID 可以是一个有用的工具,帮助 OpenAI 监控和检测滥用行为。这样,OpenAI 在检测到您的应用程序中存在任何政策违规时,可以为您的团队提供更具操作性的反馈。

这些 ID 应该是一个字符串,唯一标识每个用户。我们建议对其用户名或电子邮件地址进行哈希处理,以避免向我们发送任何识别信息。如果您向非登录用户提供产品预览,您可以发送会话 ID。

您可以通过以下方式在 API 请求中包含最终用户 ID:

from openai import OpenAI
client = OpenAI()

response = client.completions.create(
  model="gpt-3.5-turbo-instruct",
  prompt="This is a test",
  max_tokens=5,
  user="user_123456"
)

相关文章
|
4天前
|
人工智能 数据可视化 JavaScript
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
NodeTool 是一个开源的 AI 工作流可视化构建器,通过拖放节点的方式设计复杂的工作流,无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型,并与 Hugging Face、OpenAI 等平台集成,提供模型访问能力。
45 14
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
|
4天前
|
机器学习/深度学习 人工智能 安全
CCF-CV企业交流会:打造大模型时代的可信AI,探索AI安全治理新路径
近日,由中国计算机学会计算机视觉专委会主办的《打造大模型时代的可信AI》论坛顺利举行。论坛邀请了来自上海交通大学、中国科学技术大学等机构的专家,从立法、监管、前沿研究等多角度探讨AI安全治理。合合信息等企业展示了图像篡改检测等技术,助力AI向善发展。
38 11
CCF-CV企业交流会:打造大模型时代的可信AI,探索AI安全治理新路径
|
13天前
|
人工智能 编解码 机器人
OpenAI又出王炸了!正式推出超强AI视频模型Sora
OpenAI正式推出AI视频生成模型Sora,可根据文本提示生成逼真视频,面向美国及其他市场ChatGPT付费用户开放。Sora Turbo支持生成长达20秒的视频及多种变体,具备模拟物理世界的新兴能力,可创建多镜头视频,提供Remix和Storyboard等创新功能。
43 4
OpenAI又出王炸了!正式推出超强AI视频模型Sora
|
2天前
|
人工智能 自然语言处理 前端开发
openai 12天发布会收官 | AI大咖说
OpenAI这12天的发布会,并没有太多特别令人惊喜的内容,可能是前面的惊喜太多了。更多的是,让ChatGPT越来越侧重参与现实中的应用,真正赋能改变生活,包括projects项目管理,canvas文档写作,接入电话,接入ios,接入桌面,接入搜索,以及chatGPT桌面和更多应用的交互。 以及更多的多模态的延展,视觉vision,语音,视频sora。 在最后收官中,宣布新一代的O3和O3-mini更强的推理模型
57 11
|
6天前
|
安全 API C语言
Python程序的安全逆向(关于我的OPENAI的APIkey是如何被盗的)
本文介绍了如何使用C语言编写一个简单的文件加解密程序,并讨论了如何为编译后的软件添加图标。此外,文章还探讨了Python的.pyc、.pyd等文件的原理,以及如何生成和使用.pyd文件来增强代码的安全性。通过视频和教程,作者详细讲解了生成.pyd文件的过程,并分享了逆向分析.pyd文件的方法。最后,文章提到可以通过定制Python解释器来进一步保护源代码。
32 6
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源SELA,用AI设计AI,效果超越OpenAI使用的AIDE
MetaGPT团队开源了Tree-Search Enhanced LLM Agents(SELA)系统,通过蒙特卡罗树搜索(MCTS)优化AutoML过程,显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明,其性能优于传统AutoML方法和基于LLM的代理,为AutoML领域带来了新的突破。
26 4
|
9天前
|
人工智能 自然语言处理 前端开发
OpenAI 12天发布会全解析 | AI大咖说
OpenAI近日宣布将在12个工作日内每天进行一场直播,展示一系列新产品和样品。首日推出GPT-o1正式版,性能大幅提升;次日展示Reinforcement Fine-Tuning技术,提高模型决策质量;第三天推出Sora,实现高质量视频生成;第四天加强Canvas,提升多模态创作效率;第五天发布ChatGPT扩展功能,增强灵活性;第六天推出ChatGPT Vision,实现多模态互动;第七天推出ChatGPT Projects,优化项目管理。这些新技术正改变我们的生活和工作方式。
688 9
|
19天前
|
SQL 人工智能 自然语言处理
PolarDB-PG AI最佳实践 1:基础能力实践
Polar_AI 是 PolarDB 数据库的 AI 扩展,集成了先进的人工智能模型和算法,使数据库能够执行机器学习和自然语言处理任务。它支持 PostgreSQL 及 Oracle 兼容版本,通过标准 SQL 轻松调用 AI 模型,具备简单易用、灵活可定制、无缝数据融合、数据安全和高性能等优势。用户可以通过 SQL 快速实现文本转向量、情感分类等功能,并能自定义扩展 AI 模型。
|
1月前
|
SQL 机器学习/深度学习 人工智能
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
本文介绍了四个最新的 AI 开源项目,涵盖多模态生成式 AI、自然语言到 SQL 转化、多模态数学推理和复杂逻辑推理等多个领域,为 AI 应用开发提供了丰富的资源和工具。
118 0
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
|
1月前
|
云安全 人工智能 自然语言处理