内容安全实践:千里达票务系统 UGC 评价与图片的自动审核
景区评价里允许游客发图、写文字,早期是人工审:运营同学每天早上去翻评价列表。国庆高峰一天新增 5000 条评价,根本审不过来,有一条违法图片差点挂了一天才被发现。接入阿里云内容安全后,文字、图片自动审核,违规直接拦,合规的才放行。
一、要审什么
- 文字:评价、昵称、头像、客服对话;
- 图片:评价里上传的现场照片;
- 风险类型:政治敏感、色情、暴恐、广告引流、辱骂。
二、接入方式
用户发评价
→ 内容安全文本审核
→ 内容安全图片审核
→ 通过: 直接上线
→ 可疑: 进人工审核队列
→ 违规: 拦截 + 通知用户
三、关键配置
3.1 文本审核
- 涉政、色情、辱骂直接拒;
- 广告引流(留微信、手机号)打回;
- 正常评价自动过。
3.2 图片审核
- 涉黄、暴恐图片拒;
- 其他用户上传的现场照自动过;
- 可疑图进人工。
3.3 人工兜底
机器判断为"可疑"的,运营在后台审,1 小时内处理完。
四、踩坑复盘
- 误杀:正常景区照片里出现"武器"(比如景区摊位卖的道具剑)被误判。解决:申诉通道 + 白名单;
- 漏审:谐音梗、拼音绕过机器审核。解决:定期抽审 + 用户举报入口;
- 审核接口慢:早期同步审,用户发评价要等 2 秒。解决:先入库标记"待审",审核完再公开;
- 成本失控:全量图片都走最高精度模型。解决:首图用便宜模型,可疑再升精度。
五、效果与总结
UGC 业务,内容安全不是可选项。接入后审核人力从每天 4 小时降到 30 分钟人工兜底,违规内容从平均 1 小时被发现降到秒级。对千里达票务系统这种开放用户发声的平台,合规是底线。