推荐系统与内容治理:用户喜欢的内容,就适合被推荐吗?

简介: 一个能够准确预测用户兴趣的推荐系统,就一定是一个好的推荐系统吗?答案未必。前面我们讲过,推荐算法主要根据用户过去的点击、观看、点赞等行为,预测接下来什么内容最可能让你感兴趣。**但它学习的是用户行为规律,并不能判断一条内容是否合法、是否真实、是否适合传播**。如果没有额外约束,推荐模型只看到更高的行为预测分数,就可

本文是“系统学习推荐算法的第六期”,首发于我的博客

前文指路:特征工程:推荐系统如何读懂用户、内容与场景?

一个能够准确预测用户兴趣的推荐系统,就一定是一个好的推荐系统吗?答案未必。前面我们讲过,推荐算法主要根据用户过去的点击、观看、点赞等行为,预测接下来什么内容最可能让你感兴趣。但它学习的是用户行为规律,并不能判断一条内容是否合法、是否真实、是否适合传播。如果没有额外约束,推荐模型只看到更高的行为预测分数,就可能给该内容更多传播机会。这不是算法出了问题,而是它原本就不是用来判断内容安全的。推荐算法擅长解决“用户可能喜欢什么”,至于“什么内容可以传播”、“传播到什么程度”,需要另一套治理体系来回答。

治理系统

工业系统中,推荐算法和内容安全算法是两套工作逻辑不同的体系。推荐算法主要从海量用户交互中学习点击、观看、互动等行为规律;内容安全算法则围绕治理规则定义风险类型,通过对应的样本和模型识别违法违规、不实信息、网络暴力等问题内容。一个负责判断你可能喜欢什么,另一个负责判断这条内容是否适合继续传播,两者紧密协作。

首先,治理先于推荐。

大多数内容在进入大规模推荐之前,要先通过安全审核,相当于先过一道安检,再进入流量分发。其次,流量越大,治理要求越高。内容刚发布时可能只做基础审核,随着传播规模扩大,还会经历更多轮、更严格的评估。面对海量内容治理,不可能完全依赖人工。机器学习模型负责对大模型内容进行筛查,人负责制定标准并处理模型难以判断的复杂问题。
举个例子,“毒品”这个词既可能出现在违法内容里,也可能出现在禁毒科普中。单靠几个敏感词很容易要么漏掉问题,要么误伤正常内容。所以这里需要人机协同。

平台治理是一套持续运转的流程。以抖音公开介绍的治理体系为例,整个过程可以概括为六个环节:异常感知、标准定义、机器识别、人工研判、风险处置、沟通交流。

  • 首先是发现问题:某类内容突然快速传播、搜索量异常上涨或者用户举报明显增加,都可能成为风险信号。
  • 接下来,平台要把模糊的问题变成明确的标准。到底什么属于造谣,什么属于网络暴力,什么程度的表达需要限制传播,都要先定义清楚,机器才知道该识别什么。
  • 标准确定之后,机器才能大规模筛查;
  • 遇到语境复杂、新出现且模型把握不准的问题,再交给人工研判。
  • 最后根据风险程度采取相应措施,并通过申诉反馈和后续案例继续修正规则。

这样一轮轮循环下来,理标准和识别模型都会不断更新。

治理系统的常见问题

AI 生成

互联网里的风险从来不是固定不变的。生成式 AI 就是一个典型的新问题。现在 AI 已经能够生成越来越逼真的图像、声音和视频,单靠肉眼判断来源变得越来越困难。因此,治理的对象开始从“这段内容有没有问题”扩展到“这段内容是怎么来的”。例如对 AI 生成内容添加显性标识,让用户知道自己看到的是 AI 内容;同时通过元数据标识等方式记录相关信息,为后续识别和溯源提供依据。即使创作者没有主动标注,平台也会对疑似 AI 生成内容进行识别并补充相应提示。

热点事件

热点事件则是另一种难题。以抖音平台的“某高校图书馆事件”为例,相关讨论在站内快速升温后,搜索量达到警戒值,平台随即启动研判。此时需要区分哪些是已经确认的事实,哪些仍然是未经证实的传言。同时识别网暴、极端对立、仿冒账号和蹭营销等风险。平台这里并不只是删掉一条违规视频,而是在一个快速变化的信息环境里,不断判断什么需要阻断、什么需要降温、什么信息应该得到补充。

结合推荐系统治理

随着治理和推荐技术的发展,一些平台也开始尝试把一部分生态目标直接放进分发系统里,在推荐阶段尽量减少一些容易引发攻击、对立的内容获得过多流量。以抖音为例,在多目标推荐中,除了预测点击、观看的行为,还可以加入正向评论、恶评等目标。如果一条内容很容易带来点击,但同时也容易引发大量攻击性评论,那么分发系统在综合多个目标时就可以对这种风险有所约束。这样一来,推荐和治理的关系就不再只是“治理先删一遍,推荐再往后走”。治理体系负责识别和处置明确的问题内容,推荐体系则在分发过程中进一步调节什么样的内容更容易获得流量。两套体系共同作用,才有可能让内容生态更加友善理性。

即使治理技术不断进步,网络上仍然很难做到完全没有漏网之鱼。难点在于规模和准确率之间始终存在取舍。每天面对海量内容,质控系统也需要像推荐系统一样,在有限计算资源下快速筛选出高风险内容。识别做得越激进,可能误伤越多;为了降低误伤,又难免有部分风险内容没有被第一时间发现。想同时做到百分之百召回、百分之百准确,在现实系统中几乎不可能。同时,互联网上风险变化比模型快。模型只能从已经出现的问题和历史样本中学习,但新的网络黑话、新的造谣方式、新的 AI 伪造手段一直在出现。很多时候是风险线出现、平台发现之后,规则和模型才能跟上。更多时候,很多问题并没有标准答案。对于违法违规内容,通常有明确标准,但涉及公序良俗、价值判断的问题往往众口难调。再强的模型也无法替整个社会决定什么一定正确。

目录
相关文章
|
7天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
8472 19
|
7天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2587 12
|
2天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1264 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
5天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
9天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
9天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
22天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
10807 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
914 0
|
5天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1217 1
|
8天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。

热门文章

最新文章