开发者社区 问答 正文

阿里云安全这个疑似违规怎么触发 给我发个文本?

阿里云安全这个疑似违规怎么触发 给我发个文本?image.png

展开
收起
真的很搞笑 2024-02-06 10:23:01 91 分享 版权
来自: 阿里云安全
阿里云 AI 助理回答

阿里云内容安全服务中的“疑似违规”触发机制,通常是基于对文本、图片、视频等内容的检测结果进行分析后得出的。当内容被检测为可能存在违规风险但未达到明确违规的程度时,系统会将其标记为“疑似违规”。以下是关于如何触发“疑似违规”的详细说明及示例文本:


1. 疑似违规的触发条件

  • 检测场景:内容安全支持多种检测场景,包括但不限于文本、图片、视频和语音。在这些场景中,系统会根据预设规则或自定义规则对内容进行分析。
  • 审核结果分类
    • 确认违规:内容明确违反了设定的规则。
    • 疑似违规:内容存在一定的违规风险,但未达到确认违规的标准。
    • 正常:内容无任何违规风险。
  • 触发逻辑:当内容的安全检测结果返回suggestion=review时,表示该内容被标记为“疑似违规”。

2. 示例文本

以下是一个可能触发“疑似违规”的文本示例:

信用卡套现服务,快速到账,安全可靠!

检测结果分析

通过调用阿里云内容安全API(如TextModerationPlus接口),对该文本进行检测后,可能会返回如下结果:

{
    "RequestId": "11E7B537-0B42-58AF-A8C5-94BC07C2E27A",
    "Message": "OK",
    "Data": {
        "RiskLevel": "medium",
        "Result": [
            {
                "RiskWords": "信用卡套现",
                "Description": "疑似违禁行为",
                "Confidence": 95,
                "Label": "contraband_act"
            }
        ]
    },
    "Code": 200
}
  • 关键字段解释
    • RiskLevel:风险等级为medium,表示中等风险。
    • suggestion=review:建议人工复审,表明该内容被标记为“疑似违规”。
    • Label:标签为contraband_act,表示疑似涉及违禁行为。
    • Confidence:置信度为95%,表示模型对该判断的可信程度较高。

3. 如何处理疑似违规内容

  • 自助审核:您可以在内容安全控制台中对“疑似违规”内容进行自助审核。审核结果会实时生效,并自动回流到风险样本库中。
  • 回调通知:如果配置了消息通知,系统会将“疑似违规”内容的检测结果通过回调地址发送到您的业务服务器。回调数据中包含scanResult字段,您可以解析该字段以获取详细的检测信息。

4. 注意事项

  • 自定义规则:如果您希望调整检测的敏感度,可以通过内容安全控制台的“规则配置”页面修改检测项。例如,关闭某些特定关键词的检测开关。
  • 证据保留:若需要保存检测结果作为证据,可以开启证据转存功能,将检测结果存储到阿里云OSS中。
  • QPS限制:请注意,文本审核增强版服务的单用户QPS限制为10次/秒。超过限制会导致限流,请合理规划调用频率。

5. 总结

通过上述示例和说明,您可以了解“疑似违规”是如何触发的,以及如何处理此类内容。如果您需要进一步优化检测效果,建议结合业务需求调整自定义规则或联系阿里云技术支持获取帮助。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答
问答分类:
问答地址: