《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

本文涉及的产品
AI安全护栏试用包,10万次资源包1年有效
简介: 《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

3.3 社交安全

 

社交媒体在满足用户社交需求的同时,也担任着维持平台上内容安全、保护平台 数据安全、保障用户隐私安全等责任。我国的《网络安全法》规定,网络社交平台属 于网络服务提供者,负有相应的网络安全管理义务和提醒义务等法定义务,主要是协 执法、内容信息监管、用户数据保护等。


3.3.1 社交内容安全

 

3.3.1.1 社交内容安全需求分析


早在2018年,    《西雅图时报》撰稿人Dick  Lily在一篇名为“社交媒体的算法将我 们带入黑暗、分裂的兔子洞”的文章指出:“社交媒体平台利用算法来迎合我们对 “刺激”的需求 — 我们的担忧,我们的恐惧,还有我们对某些事物的厌恶,它驱使我 们不地点击,这样他们就可以向我们展示广告。”社交媒体导致极端主义,传播偏 见和恨,并可能导致暴力。这种现象的根源在于算法的应用。《纽约时报》在一篇 报导提到,“算法决定每个用户看到的动态,它的核心使命是推广能够最大化用户 参与度的内容。研究发现,凡是能够挑动愤怒以及恐惧等负面、原始的情绪的帖子, 其阅数量将会激增。”德国的一项研究表明,在近几年反移民暴力事件发生后,仅靠单一的内容页面并不能起到煽动作用,而一旦用户登陆某个页面,Facebook YouTube算法便会逐步深入右翼宣传。印第安纳大学信息学与计算机科学授 Filippo1Menczer在一篇文章中提到,由于集体预测通常比个人预测更准确,人们在 做出决时倾向于依据他人的行动、意见和偏好作为指引。在数百万年的进化过程 中,种倾向以“认知偏差”的形式被编码到人类大脑中,比如“跟风效应”。人们模 仿邻居跟随赢家、跟随大多数。这种“群体智慧”(The Wisdom of The Crowds)的 效性建立在一个假设之上,即群体是由不同的、独立的来源组成的。


互联网科技使得人们能够获取到来自不计其数的素不相识的人的信息。由于人们 向于与相似的人交往,他们的在线社群不再多样化。这将人们推入同质化的社  — 通常被称为“回音室”(The Echo Chamber Effect)。而“群体智慧”在这一场景 中不再有效。Tom1Nichols曾在《专家之死》一书中指出,高等教育的商品化、互联 网领域的内容过剩,以及媒体行业的娱乐化使人们“无知却很自信”,大众对专家的 抵触使得来越多的专家陷入一种“社会性死亡”。由此,反智主义盛行。“社交媒体 被用来传播错误信息放大问题、模仿社会运动、推动阴谋”,一名哈佛大学的研究主 甚至表示,“错误信息是社交媒体的一个特征,而不是漏洞。”


在这个信息膨胀时代,内容安全有位重要。同时法律法规及既为用户维权有法可 依提供了基础,也为行业内各个社交平台敲响了警钟,预防是比事后补救更好的解决 方法,平台构建更健全的内容审核机制和审核吐啊对的重要性可谓是不言而喻的。


3.3.1.2 阿里内容安全能力


随着社交媒体上用户量、用户创造和传播的内容的不断增加,内容安全的重要性 也随之不断上升。各社交平台可以从零开始自建内容安全能力,也可以依托于阿里云 积累的多种云上内容安全能力,一起来保障云上社交的内容安全。阿里云为云上业务 提供的内容全能力有:内容检测APIOSS违规检测和站点检测等功能,其中每个 能都能适用于多种场景。

 

3.3.1.2.1 内容检测API

 


用场景

 

 

 

片违规内容检测

检测片违规或识别图片中的不良信息。具体支持以下场景:

    智能鉴黄

•    暴恐涉政检测

   图文违规检测

    二维码检测

•    不良场景检测(图片中无内容、画中画、吸烟、车直播)

•    logo

 

 

频违规内容检测

检测视频中的违规内容或不良信息。具体支持以下场景:

    智能鉴黄

•    涉政暴恐检测

   图文违规检测

   不良场景检测(例如黑屏、白屏)

•    logo

 

 

 

 

文本垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

 

语音垃圾内容检

检测语中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

文件垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

•     sface:敏感人

     qrcode:二维码

    live:不良场景(图片中无内容、画中画、吸烟、 直播;视频黑屏、白屏)

•    logologo识别

 


页垃圾内容检测

 

检测网中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

    live:不良场景(图片中无内容、画中画、吸烟、车内直播; 视频黑屏、白屏)

 

 

 

 

 

文OCR识别

识别图片中的各种文字信息(结构化或非结构化信息)。支持识别 结构化卡证对象包括:

份证

业执照

增值税发票

驶证

驶证

车牌

辆Vin码

 

 

 

脸识别

脸识别包括以下能力:

•    人脸属性检测

    人脸比对

•    活体翻拍检测

•    图片敏感人脸识别

•    视频敏感人脸识别

   自定义人脸检索

片标签识别

识别片中的主体,并输出对应的标签。

似图检索

根据给定的片到用户自定义图库检索相似的TOP N张图片。

频质检检测

据给定的视频,检测文件中是否有模糊、拼接、低亮度、 、静帧等质量问题。

 




《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(下) https://developer.aliyun.com/article/1232348?groupCode=supportservice

相关文章
|
2月前
|
人工智能 安全 Cloud Native
Nacos 3.0 架构升级,AI 时代更安全的 Registry
随着Nacos3.0的发布,定位由“更易于构建云原生应用的动态服务发现、配置管理和服务管理平台”升级至“ 一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台 ”。
|
2月前
|
存储 设计模式 人工智能
AI Agent安全架构实战:基于LangGraph的Human-in-the-Loop系统设计​
本文深入解析Human-in-the-Loop(HIL)架构在AI Agent中的核心应用,探讨其在高风险场景下的断点控制、状态恢复与安全管控机制,并结合LangGraph的创新设计与金融交易实战案例,展示如何实现效率与安全的平衡。
268 0
|
2月前
|
人工智能 大数据 开发者
让AI时代的卓越架构触手可及,阿里云技术解决方案开放免费试用
阿里云推出基于场景的解决方案免费试用活动,新老用户均可领取100点试用点,完成部署还可再领最高100点,相当于一年可获得最高200元云资源。覆盖AI、大数据、互联网应用开发等多个领域,支持热门场景如DeepSeek部署、模型微调等,助力企业和开发者快速验证方案并上云。
2981 123
让AI时代的卓越架构触手可及,阿里云技术解决方案开放免费试用
|
3月前
|
运维 监控 Cloud Native
智联招聘 × 阿里云 ACK One:云端弹性算力颠覆传统 IDC 架构,打造春招技术新范式
在 2025 年春季招聘季的激战中,智联招聘凭借阿里云 ACK One 注册集群与弹性 ACS 算力的深度融合,成功突破传统 IDC 机房的算力瓶颈,以云上弹性架构支撑千万级用户的高并发访问,实现招聘服务效率与稳定性的双重跃升。文章介绍了 ACK One+ACS 的弹性架构如何解决了春招的燃眉之急,让智联招聘的技术团队能够聚焦创新业务开发,欢迎关注。
133 11
|
3月前
|
运维 Kubernetes Cloud Native
智联招聘 × 阿里云 ACK One:云端弹性算力颠覆传统 IDC 架构,打造春招技术新范式
在 2025 年春季招聘季的激战中,智联招聘凭借阿里云 ACK One 注册集群与弹性 ACS 算力的深度融合,成功突破传统 IDC 机房的算力瓶颈,以云上弹性架构支撑千万级用户的高并发访问,实现招聘服务效率与稳定性的双重跃升。
|
3月前
|
人工智能 移动开发 JavaScript
AI + 低代码技术揭秘(二):核心架构
VTJ低代码平台架构包含引擎编排层、Provider服务系统、数据模型及代码生成管道,支持设计时与运行时功能。Engine管理设计流程,Provider处理服务加载,Simulator实现组件渲染,数据模型通过事件驱动同步状态。代码生成管道可双向转换Vue组件与DSL,支持多平台适配,如Web、H5和UniApp。系统提供可视化编辑、热重载与AI集成,满足高效开发需求。
81 0
|
13天前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
68 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
|
2月前
|
存储 移动开发 JavaScript
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
63 4
快应用推广连接底层技术与架构以及如何结合自身系统分销的推广逻辑和技术对接-优雅草卓伊凡|果果|Ant
|
2月前
|
小程序 安全 JavaScript
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡
103 1
构建即时通讯APP内的小程序生态体系:从架构设计到技术实现-优雅草卓伊凡

热门文章

最新文章