本文是“系统学习推荐算法的第六期”,首发于我的博客
一个能够准确预测用户兴趣的推荐系统,就一定是一个好的推荐系统吗?答案未必。前面我们讲过,推荐算法主要根据用户过去的点击、观看、点赞等行为,预测接下来什么内容最可能让你感兴趣。但它学习的是用户行为规律,并不能判断一条内容是否合法、是否真实、是否适合传播。如果没有额外约束,推荐模型只看到更高的行为预测分数,就可能给该内容更多传播机会。这不是算法出了问题,而是它原本就不是用来判断内容安全的。推荐算法擅长解决“用户可能喜欢什么”,至于“什么内容可以传播”、“传播到什么程度”,需要另一套治理体系来回答。
治理系统
工业系统中,推荐算法和内容安全算法是两套工作逻辑不同的体系。推荐算法主要从海量用户交互中学习点击、观看、互动等行为规律;内容安全算法则围绕治理规则定义风险类型,通过对应的样本和模型识别违法违规、不实信息、网络暴力等问题内容。一个负责判断你可能喜欢什么,另一个负责判断这条内容是否适合继续传播,两者紧密协作。
首先,治理先于推荐。
大多数内容在进入大规模推荐之前,要先通过安全审核,相当于先过一道安检,再进入流量分发。其次,流量越大,治理要求越高。内容刚发布时可能只做基础审核,随着传播规模扩大,还会经历更多轮、更严格的评估。面对海量内容治理,不可能完全依赖人工。机器学习模型负责对大模型内容进行筛查,人负责制定标准并处理模型难以判断的复杂问题。
举个例子,“毒品”这个词既可能出现在违法内容里,也可能出现在禁毒科普中。单靠几个敏感词很容易要么漏掉问题,要么误伤正常内容。所以这里需要人机协同。
平台治理是一套持续运转的流程。以抖音公开介绍的治理体系为例,整个过程可以概括为六个环节:异常感知、标准定义、机器识别、人工研判、风险处置、沟通交流。
- 首先是发现问题:某类内容突然快速传播、搜索量异常上涨或者用户举报明显增加,都可能成为风险信号。
- 接下来,平台要把模糊的问题变成明确的标准。到底什么属于造谣,什么属于网络暴力,什么程度的表达需要限制传播,都要先定义清楚,机器才知道该识别什么。
- 标准确定之后,机器才能大规模筛查;
- 遇到语境复杂、新出现且模型把握不准的问题,再交给人工研判。
- 最后根据风险程度采取相应措施,并通过申诉反馈和后续案例继续修正规则。
这样一轮轮循环下来,理标准和识别模型都会不断更新。
治理系统的常见问题
AI 生成
互联网里的风险从来不是固定不变的。生成式 AI 就是一个典型的新问题。现在 AI 已经能够生成越来越逼真的图像、声音和视频,单靠肉眼判断来源变得越来越困难。因此,治理的对象开始从“这段内容有没有问题”扩展到“这段内容是怎么来的”。例如对 AI 生成内容添加显性标识,让用户知道自己看到的是 AI 内容;同时通过元数据标识等方式记录相关信息,为后续识别和溯源提供依据。即使创作者没有主动标注,平台也会对疑似 AI 生成内容进行识别并补充相应提示。
热点事件
热点事件则是另一种难题。以抖音平台的“某高校图书馆事件”为例,相关讨论在站内快速升温后,搜索量达到警戒值,平台随即启动研判。此时需要区分哪些是已经确认的事实,哪些仍然是未经证实的传言。同时识别网暴、极端对立、仿冒账号和蹭营销等风险。平台这里并不只是删掉一条违规视频,而是在一个快速变化的信息环境里,不断判断什么需要阻断、什么需要降温、什么信息应该得到补充。
结合推荐系统治理
随着治理和推荐技术的发展,一些平台也开始尝试把一部分生态目标直接放进分发系统里,在推荐阶段尽量减少一些容易引发攻击、对立的内容获得过多流量。以抖音为例,在多目标推荐中,除了预测点击、观看的行为,还可以加入正向评论、恶评等目标。如果一条内容很容易带来点击,但同时也容易引发大量攻击性评论,那么分发系统在综合多个目标时就可以对这种风险有所约束。这样一来,推荐和治理的关系就不再只是“治理先删一遍,推荐再往后走”。治理体系负责识别和处置明确的问题内容,推荐体系则在分发过程中进一步调节什么样的内容更容易获得流量。两套体系共同作用,才有可能让内容生态更加友善理性。
即使治理技术不断进步,网络上仍然很难做到完全没有漏网之鱼。难点在于规模和准确率之间始终存在取舍。每天面对海量内容,质控系统也需要像推荐系统一样,在有限计算资源下快速筛选出高风险内容。识别做得越激进,可能误伤越多;为了降低误伤,又难免有部分风险内容没有被第一时间发现。想同时做到百分之百召回、百分之百准确,在现实系统中几乎不可能。同时,互联网上风险变化比模型快。模型只能从已经出现的问题和历史样本中学习,但新的网络黑话、新的造谣方式、新的 AI 伪造手段一直在出现。很多时候是风险线出现、平台发现之后,规则和模型才能跟上。更多时候,很多问题并没有标准答案。对于违法违规内容,通常有明确标准,但涉及公序良俗、价值判断的问题往往众口难调。再强的模型也无法替整个社会决定什么一定正确。