[译][AI OpenAI-doc] 适度

学习如何将适度考虑融入你的人工智能应用中。

概述

适度端点是一个工具，你可以用它来检查文本是否具有潜在的有害性。开发者可以使用它来识别可能有害的内容，并采取行动，比如将其过滤掉。

模型分类如下：

适度端点对大多数开发者是免费的。为了获得更高的准确性，请尝试将长文本拆分为小于2000个字符的较小片段。

我们正在不断努力提高我们分类器的准确性。我们目前对非英语语言的支持是有限的。

快速入门

要获取文本的分类，可以像下面的代码片段中演示的那样向适度端点发送请求：

from openai import OpenAI
client = OpenAI()

response = client.moderations.create(input="这里放置示例文本。")

output = response.results[0]

以下是端点的示例输出。它返回以下字段：

• flagged：如果模型将内容分类为潜在有害，则设置为true，否则为false。
• categories：包含每个类别违规标志的字典。对于每个类别，如果模型将相应的类别标记为违规，则该值为true，否则为false。
• category_scores：包含模型输出的每个类别原始分数的字典，表示模型对输入违反 OpenAI 对该类别的政策的信心。该值介于 0 和 1 之间，数值越高表示信心越高。这些分数不应被解释为概率。

{
    "id": "modr-XXXXX",
    "model": "text-moderation-007",
    "results": [
        {
            "flagged": true,
            "categories": {
                "sexual": false,
                "hate": false,
                "harassment": false,
                "self-harm": false,
                "sexual/minors": false,
                "hate/threatening": false,
                "violence/graphic": false,
                "self-harm/intent": false,
                "self-harm/instructions": false,
                "harassment/threatening": true,
                "violence": true
            },
            "category_scores": {
                "sexual": 1.2282071e-6,
                "hate": 0.010696256,
                "harassment": 0.29842457,
                "self-harm": 1.5236925e-8,
                "sexual/minors": 5.7246268e-8,
                "hate/threatening": 0.0060676364,
                "violence/graphic": 4.435014e-6,
                "self-harm/intent": 8.098441e-10,
                "self-harm/instructions": 2.8498655e-11,
                "harassment/threatening": 0.63055265,
                "violence": 0.99011886
            }
        }
    ]
}

我们计划持续升级适度端点的基础模型。因此，依赖于 category_scores 的自定义策略可能需要随时间进行重新校准。

• 官网

• 本文

  • 微信 - 从零开始学AI
  • CSDN - 从零开始学AI
  • 掘金 - 从零开始学AI
  • 知乎 - 从零开始学AI