《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

简介: 《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

3.3 社交安全

 

社交媒体在满足用户社交需求的同时,也担任着维持平台上内容安全、保护平台 数据安全、保障用户隐私安全等责任。我国的《网络安全法》规定,网络社交平台属 于网络服务提供者,负有相应的网络安全管理义务和提醒义务等法定义务,主要是协 执法、内容信息监管、用户数据保护等。


3.3.1 社交内容安全

 

3.3.1.1 社交内容安全需求分析


早在2018年,    《西雅图时报》撰稿人Dick  Lily在一篇名为“社交媒体的算法将我 们带入黑暗、分裂的兔子洞”的文章指出:“社交媒体平台利用算法来迎合我们对 “刺激”的需求 — 我们的担忧,我们的恐惧,还有我们对某些事物的厌恶,它驱使我 们不地点击,这样他们就可以向我们展示广告。”社交媒体导致极端主义,传播偏 见和恨,并可能导致暴力。这种现象的根源在于算法的应用。《纽约时报》在一篇 报导提到,“算法决定每个用户看到的动态,它的核心使命是推广能够最大化用户 参与度的内容。研究发现,凡是能够挑动愤怒以及恐惧等负面、原始的情绪的帖子, 其阅数量将会激增。”德国的一项研究表明,在近几年反移民暴力事件发生后,仅靠单一的内容页面并不能起到煽动作用,而一旦用户登陆某个页面,Facebook YouTube算法便会逐步深入右翼宣传。印第安纳大学信息学与计算机科学授 Filippo1Menczer在一篇文章中提到,由于集体预测通常比个人预测更准确,人们在 做出决时倾向于依据他人的行动、意见和偏好作为指引。在数百万年的进化过程 中,种倾向以“认知偏差”的形式被编码到人类大脑中,比如“跟风效应”。人们模 仿邻居跟随赢家、跟随大多数。这种“群体智慧”(The Wisdom of The Crowds)的 效性建立在一个假设之上,即群体是由不同的、独立的来源组成的。


互联网科技使得人们能够获取到来自不计其数的素不相识的人的信息。由于人们 向于与相似的人交往,他们的在线社群不再多样化。这将人们推入同质化的社  — 通常被称为“回音室”(The Echo Chamber Effect)。而“群体智慧”在这一场景 中不再有效。Tom1Nichols曾在《专家之死》一书中指出,高等教育的商品化、互联 网领域的内容过剩,以及媒体行业的娱乐化使人们“无知却很自信”,大众对专家的 抵触使得来越多的专家陷入一种“社会性死亡”。由此,反智主义盛行。“社交媒体 被用来传播错误信息放大问题、模仿社会运动、推动阴谋”,一名哈佛大学的研究主 甚至表示,“错误信息是社交媒体的一个特征,而不是漏洞。”


在这个信息膨胀时代,内容安全有位重要。同时法律法规及既为用户维权有法可 依提供了基础,也为行业内各个社交平台敲响了警钟,预防是比事后补救更好的解决 方法,平台构建更健全的内容审核机制和审核吐啊对的重要性可谓是不言而喻的。


3.3.1.2 阿里内容安全能力


随着社交媒体上用户量、用户创造和传播的内容的不断增加,内容安全的重要性 也随之不断上升。各社交平台可以从零开始自建内容安全能力,也可以依托于阿里云 积累的多种云上内容安全能力,一起来保障云上社交的内容安全。阿里云为云上业务 提供的内容全能力有:内容检测APIOSS违规检测和站点检测等功能,其中每个 能都能适用于多种场景。

 

3.3.1.2.1 内容检测API

 


用场景

 

 

 

片违规内容检测

检测片违规或识别图片中的不良信息。具体支持以下场景:

    智能鉴黄

•    暴恐涉政检测

   图文违规检测

    二维码检测

•    不良场景检测(图片中无内容、画中画、吸烟、车直播)

•    logo

 

 

频违规内容检测

检测视频中的违规内容或不良信息。具体支持以下场景:

    智能鉴黄

•    涉政暴恐检测

   图文违规检测

   不良场景检测(例如黑屏、白屏)

•    logo

 

 

 

 

文本垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

 

语音垃圾内容检

检测语中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

文件垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

•     sface:敏感人

     qrcode:二维码

    live:不良场景(图片中无内容、画中画、吸烟、 直播;视频黑屏、白屏)

•    logologo识别

 


页垃圾内容检测

 

检测网中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

    live:不良场景(图片中无内容、画中画、吸烟、车内直播; 视频黑屏、白屏)

 

 

 

 

 

文OCR识别

识别图片中的各种文字信息(结构化或非结构化信息)。支持识别 结构化卡证对象包括:

份证

业执照

增值税发票

驶证

驶证

车牌

辆Vin码

 

 

 

脸识别

脸识别包括以下能力:

•    人脸属性检测

    人脸比对

•    活体翻拍检测

•    图片敏感人脸识别

•    视频敏感人脸识别

   自定义人脸检索

片标签识别

识别片中的主体,并输出对应的标签。

似图检索

根据给定的片到用户自定义图库检索相似的TOP N张图片。

频质检检测

据给定的视频,检测文件中是否有模糊、拼接、低亮度、 、静帧等质量问题。

 




《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(下) https://developer.aliyun.com/article/1232348?groupCode=supportservice

相关文章
|
3月前
|
存储 缓存 安全
某鱼电商接口架构深度剖析:从稳定性到高性能的技术密码
某鱼电商接口架构揭秘:分层解耦、安全加固、性能优化三维设计,实现200ms内响应、故障率低于0.1%。详解三层架构、多引擎存储、异步发布、WebSocket通信与全链路防护,助力开发者突破电商接口“三难”困境。
|
4月前
|
数据采集 监控 JavaScript
移动端性能监控探索:鸿蒙 NEXT 探针架构与技术实现
阿里云 ARMS 团队倾力打造的鸿蒙 NEXT SDK,为鸿蒙应用提供了业界领先的全链路监控解决方案。这不仅仅是一个 SDK,更是您洞察用户体验、优化应用性能的智能伙伴。
700 42
|
3月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
744 23
|
3月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
426 2
|
4月前
|
Cloud Native API 开发者
Gemini 2.5 Flash 技术拆解:从 MoE 架构到阿里云生态落地指南
2025年9月,谷歌Gemini 2.5 Flash发布,性能提升5%、成本降24%,引发行业关注。其MoE架构、百万上下文与“思考”范式,助力阿里云开发者高效构建云原生应用。本文解析技术内核,结合汽车、物流等案例,提供落地指南与避坑建议,展望大模型与流计算融合前景。
631 6
|
3月前
|
存储 监控 安全
132_API部署:FastAPI与现代安全架构深度解析与LLM服务化最佳实践
在大语言模型(LLM)部署的最后一公里,API接口的设计与安全性直接决定了模型服务的可用性、稳定性与用户信任度。随着2025年LLM应用的爆炸式增长,如何构建高性能、高安全性的REST API成为开发者面临的核心挑战。FastAPI作为Python生态中最受青睐的Web框架之一,凭借其卓越的性能、强大的类型安全支持和完善的文档生成能力,已成为LLM服务化部署的首选方案。
|
4月前
|
消息中间件 监控 Cloud Native
高效设计:支持亿级用户社交关系的100W QPS架构方案
面对亿级用户与百万QPS的高并发场景,性能测试成为系统稳定的关键。本文剖析真实业务痛点,详解从接口压测、全链路监控到瓶颈定位的完整性能体系,助你掌握大厂级性能优化能力,从容应对卡顿、宕机等线上挑战。
|
5月前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
425 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南