《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

简介: 《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

3.3 社交安全

 

社交媒体在满足用户社交需求的同时,也担任着维持平台上内容安全、保护平台 数据安全、保障用户隐私安全等责任。我国的《网络安全法》规定,网络社交平台属 于网络服务提供者,负有相应的网络安全管理义务和提醒义务等法定义务,主要是协 执法、内容信息监管、用户数据保护等。


3.3.1 社交内容安全

 

3.3.1.1 社交内容安全需求分析


早在2018年,    《西雅图时报》撰稿人Dick  Lily在一篇名为“社交媒体的算法将我 们带入黑暗、分裂的兔子洞”的文章指出:“社交媒体平台利用算法来迎合我们对 “刺激”的需求 — 我们的担忧,我们的恐惧,还有我们对某些事物的厌恶,它驱使我 们不地点击,这样他们就可以向我们展示广告。”社交媒体导致极端主义,传播偏 见和恨,并可能导致暴力。这种现象的根源在于算法的应用。《纽约时报》在一篇 报导提到,“算法决定每个用户看到的动态,它的核心使命是推广能够最大化用户 参与度的内容。研究发现,凡是能够挑动愤怒以及恐惧等负面、原始的情绪的帖子, 其阅数量将会激增。”德国的一项研究表明,在近几年反移民暴力事件发生后,仅靠单一的内容页面并不能起到煽动作用,而一旦用户登陆某个页面,Facebook YouTube算法便会逐步深入右翼宣传。印第安纳大学信息学与计算机科学授 Filippo1Menczer在一篇文章中提到,由于集体预测通常比个人预测更准确,人们在 做出决时倾向于依据他人的行动、意见和偏好作为指引。在数百万年的进化过程 中,种倾向以“认知偏差”的形式被编码到人类大脑中,比如“跟风效应”。人们模 仿邻居跟随赢家、跟随大多数。这种“群体智慧”(The Wisdom of The Crowds)的 效性建立在一个假设之上,即群体是由不同的、独立的来源组成的。


互联网科技使得人们能够获取到来自不计其数的素不相识的人的信息。由于人们 向于与相似的人交往,他们的在线社群不再多样化。这将人们推入同质化的社  — 通常被称为“回音室”(The Echo Chamber Effect)。而“群体智慧”在这一场景 中不再有效。Tom1Nichols曾在《专家之死》一书中指出,高等教育的商品化、互联 网领域的内容过剩,以及媒体行业的娱乐化使人们“无知却很自信”,大众对专家的 抵触使得来越多的专家陷入一种“社会性死亡”。由此,反智主义盛行。“社交媒体 被用来传播错误信息放大问题、模仿社会运动、推动阴谋”,一名哈佛大学的研究主 甚至表示,“错误信息是社交媒体的一个特征,而不是漏洞。”


在这个信息膨胀时代,内容安全有位重要。同时法律法规及既为用户维权有法可 依提供了基础,也为行业内各个社交平台敲响了警钟,预防是比事后补救更好的解决 方法,平台构建更健全的内容审核机制和审核吐啊对的重要性可谓是不言而喻的。


3.3.1.2 阿里内容安全能力


随着社交媒体上用户量、用户创造和传播的内容的不断增加,内容安全的重要性 也随之不断上升。各社交平台可以从零开始自建内容安全能力,也可以依托于阿里云 积累的多种云上内容安全能力,一起来保障云上社交的内容安全。阿里云为云上业务 提供的内容全能力有:内容检测APIOSS违规检测和站点检测等功能,其中每个 能都能适用于多种场景。

 

3.3.1.2.1 内容检测API

 


用场景

 

 

 

片违规内容检测

检测片违规或识别图片中的不良信息。具体支持以下场景:

    智能鉴黄

•    暴恐涉政检测

   图文违规检测

    二维码检测

•    不良场景检测(图片中无内容、画中画、吸烟、车直播)

•    logo

 

 

频违规内容检测

检测视频中的违规内容或不良信息。具体支持以下场景:

    智能鉴黄

•    涉政暴恐检测

   图文违规检测

   不良场景检测(例如黑屏、白屏)

•    logo

 

 

 

 

文本垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

 

语音垃圾内容检

检测语中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

文件垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

•     sface:敏感人

     qrcode:二维码

    live:不良场景(图片中无内容、画中画、吸烟、 直播;视频黑屏、白屏)

•    logologo识别

 


页垃圾内容检测

 

检测网中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

    live:不良场景(图片中无内容、画中画、吸烟、车内直播; 视频黑屏、白屏)

 

 

 

 

 

文OCR识别

识别图片中的各种文字信息(结构化或非结构化信息)。支持识别 结构化卡证对象包括:

份证

业执照

增值税发票

驶证

驶证

车牌

辆Vin码

 

 

 

脸识别

脸识别包括以下能力:

•    人脸属性检测

    人脸比对

•    活体翻拍检测

•    图片敏感人脸识别

•    视频敏感人脸识别

   自定义人脸检索

片标签识别

识别片中的主体,并输出对应的标签。

似图检索

根据给定的片到用户自定义图库检索相似的TOP N张图片。

频质检检测

据给定的视频,检测文件中是否有模糊、拼接、低亮度、 、静帧等质量问题。

 




《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(下) https://developer.aliyun.com/article/1232348?groupCode=supportservice

相关文章
|
1月前
|
设计模式 前端开发 测试技术
Flutter 项目架构技术指南
探讨Flutter项目代码组织架构的关键方面和建议。了解设计原则SOLID、Clean Architecture,以及架构模式MVC、MVP、MVVM,如何有机结合使用,打造优秀的应用架构。
Flutter 项目架构技术指南
|
1月前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
48 4
|
1月前
|
Kubernetes 开发者 Docker
基于容器技术的微服务架构
基于容器技术的微服务架构
33 0
|
1月前
|
运维 网络协议 安全
长连接网关技术专题(十):百度基于Go的千万级统一长连接服务架构实践
本文将介绍百度基于golang实现的统一长连接服务,从统一长连接功能实现和性能优化等角度,描述了其在设计、开发和维护过程中面临的问题和挑战,并重点介绍了解决相关问题和挑战的方案和实践经验。
84 1
|
1月前
|
网络协议 Linux
Linux DNS服务详解——DNS主从架构配置
Linux DNS服务详解——DNS主从架构配置
410 4
|
1月前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
29天前
|
设计模式 安全 Java
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
33 0
|
1月前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
51 0
|
29天前
|
NoSQL Java Redis
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的分布式锁的功能组件(二)
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的分布式锁的功能组件
15 0