《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

简介: 《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

3.3 社交安全

 

社交媒体在满足用户社交需求的同时,也担任着维持平台上内容安全、保护平台 数据安全、保障用户隐私安全等责任。我国的《网络安全法》规定,网络社交平台属 于网络服务提供者,负有相应的网络安全管理义务和提醒义务等法定义务,主要是协 助执法、内容信息监管、用户数据保护等。


3.3.1 社交内容安全

 

3.3.1.1 社交内容安全需求分析


早在2018年,    《西雅图时报》撰稿人Dick  Lily在一篇名为“社交媒体的算法将我 们带入了黑暗、分裂的兔子洞”的文章指出:“社交媒体平台利用算法来迎合我们对 “刺激”的需求 — 我们的担忧,我们的恐惧,还有我们对某些事物的厌恶,它驱使我 们不停地点击,这样他们就可以向我们展示广告。”社交媒体导致极端主义,传播偏 见和仇恨,并可能导致暴力。这种现象的根源在于算法的应用。《纽约时报》在一篇 报导中提到,“算法决定每个用户看到的动态,它的核心使命是推广能够最大化用户 参与度的内容。研究发现,凡是能够挑动愤怒以及恐惧等负面、原始的情绪的帖子, 其阅读数量将会激增。”德国的一项研究表明,在近几年反移民暴力事件发生后,仅靠单一的内容页面并不能起到煽动作用,而一旦用户登陆某个页面,Facebook和 YouTube的算法便会逐步深入右翼宣传。印第安纳大学信息学与计算机科学授 Filippo1Menczer在一篇文章中提到,由于集体预测通常比个人预测更准确,人们在 做出决策时倾向于依据他人的行动、意见和偏好作为指引。在数百万年的进化过程 中,这种倾向以“认知偏差”的形式被编码到人类大脑中,比如“跟风效应”。人们模 仿邻居、跟随赢家、跟随大多数。这种“群体智慧”(The Wisdom of The Crowds)的 有效性建立在一个假设之上,即群体是由不同的、独立的来源组成的。


互联网科技使得人们能够获取到来自不计其数的素不相识的人的信息。由于人们 倾向于与相似的人交往,他们的在线社群不再多样化。这将人们推入同质化的社 区 — 通常被称为“回音室”(The Echo Chamber Effect)。而“群体智慧”在这一场景 中不再有效。Tom1Nichols曾在《专家之死》一书中指出,高等教育的商品化、互联 网领域的内容过剩,以及媒体行业的娱乐化使人们“无知却很自信”,大众对专家的 抵触使得越来越多的专家陷入一种“社会性死亡”。由此,反智主义盛行。“社交媒体 被用来传播错误信息放大问题、模仿社会运动、推动阴谋”,一名哈佛大学的研究主 管甚至表示,“错误信息是社交媒体的一个特征,而不是漏洞。”


在这个信息膨胀时代,内容安全有位重要。同时法律法规及既为用户维权有法可 依提供了基础,也为行业内各个社交平台敲响了警钟,预防是比事后补救更好的解决 方法,平台构建更健全的内容审核机制和审核吐啊对的重要性可谓是不言而喻的。


3.3.1.2 阿里内容安全能力


随着社交媒体上用户量、用户创造和传播的内容的不断增加,内容安全的重要性 也随之不断上升。各社交平台可以从零开始自建内容安全能力,也可以依托于阿里云 积累的多种云上内容安全能力,一起来保障云上社交的内容安全。阿里云为云上业务 提供的内容安全能力有:内容检测API、OSS违规检测和站点检测等功能,其中每个 功能都能适用于多种场景。

 

3.3.1.2.1 内容检测API

 


应用场景

 

 

 

图片违规内容检测

描述

检测图片违规或识别图片中的不良信息。具体支持以下场景:

•    智能鉴黄

•    暴恐涉政检测

•    图文违规检测

•    二维码检测

•    不良场景检测(图片中无内容、画中画、吸烟、车内直播)

•    logo检测

 

 

视频违规内容检测

检测视频中的违规内容或不良信息。具体支持以下场景:

•    智能鉴黄

•    涉政暴恐检测

•    图文违规检测

•    不良场景检测(例如黑屏、白屏)

•    logo检测

 

 

 

 

文本垃圾内容检测

检测文本中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪、负面诱导等检测场景)

•    自定义关键词检测

 

 

 

 

语音垃圾内容检测

检测语音中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪、负面诱导等检测场景)

•    自定义关键词检测

 

 

 

文件垃圾内容检测

检测文件中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广告

•    terrorism:暴恐涉政

•     sface:敏感人脸

•     qrcode:二维码

•    live:不良场景(图片中无内容、画中画、吸烟、 车内直播;视频黑屏、白屏)

•    logo:logo识别

 


网页垃圾内容检测

描述

 

检测网页中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广告

•    terrorism:暴恐涉政

•    live:不良场景(图片中无内容、画中画、吸烟、车内直播; 视频黑屏、白屏)

 

 

 

 

 

图文OCR识别

识别图片中的各种文字信息(结构化或非结构化信息)。支持识别 的结构化卡证对象包括:

身份证

护照

银行卡

营业执照

增值税发票

行驶证

驾驶证

车牌

车辆Vin码

 

 

 

人脸识别

人脸识别包括以下能力:

•    人脸属性检测

•    人脸比对

•    活体翻拍检测

•    图片敏感人脸识别

•    视频敏感人脸识别

•    自定义人脸检索

图片标签识别

识别图片中的主体,并输出对应的标签。

相似图检索

根据给定的图片到用户自定义图库检索相似的TOP N张图片。

视频质检检测

根据给定的视频,检测文件中是否有模糊、拼接、低亮度、 黑屏、静帧等质量问题。

 




《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(下) https://developer.aliyun.com/article/1232348?groupCode=supportservice

相关文章
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
1412 0
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
消息中间件 监控 Cloud Native
高效设计:支持亿级用户社交关系的100W QPS架构方案
面对亿级用户与百万QPS的高并发场景,性能测试成为系统稳定的关键。本文剖析真实业务痛点,详解从接口压测、全链路监控到瓶颈定位的完整性能体系,助你掌握大厂级性能优化能力,从容应对卡顿、宕机等线上挑战。
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
文字识别 运维 监控
架构解密|一步步打造高可用的 JOCR OCR 识别服务
本文深入解析了JOCR OCR识别服务的高可用架构设计,涵盖从用户上传、智能调度、核心识别到容错监控的完整链路,助力打造高性能、低成本的工业级OCR服务。
635 0
架构解密|一步步打造高可用的 JOCR OCR 识别服务
|
消息中间件 人工智能 监控
文生图架构设计原来如此简单之分布式服务
想象一下,当成千上万的用户同时要求AI画图,如何公平高效地处理这些请求?文生图/图生图大模型的架构设计看似复杂,实则遵循简单而有效的原则:合理排队、分工明确、防患未然。
744 14
文生图架构设计原来如此简单之分布式服务
|
消息中间件 存储 大数据
阿里云消息队列 Kafka 架构及典型应用场景
阿里云消息队列 Kafka 是一款基于 Apache Kafka 的分布式消息中间件,支持消息发布与订阅模型,满足微服务解耦、大数据处理及实时流数据分析需求。其通过存算分离架构优化成本与性能,提供基础版、标准版和专业版三种 Serverless 版本,分别适用于不同业务场景,最高 SLA 达 99.99%。阿里云 Kafka 还具备弹性扩容、多可用区部署、冷热数据缓存隔离等特性,并支持与 Flink、MaxCompute 等生态工具无缝集成,广泛应用于用户行为分析、数据入库等场景,显著提升数据处理效率与实时性。
|
存储 缓存 关系型数据库
社交软件红包技术解密(六):微信红包系统的存储层架构演进实践
微信红包本质是小额资金在用户帐户流转,有发、抢、拆三大步骤。在这个过程中对事务有高要求,所以订单最终要基于传统的RDBMS,这方面是它的强项,最终订单的存储使用互联网行业最通用的MySQL数据库。支持事务、成熟稳定,我们的团队在MySQL上有长期技术积累。但是传统数据库的扩展性有局限,需要通过架构解决。
728 18
|
安全 容灾 网络安全
深度用云——释放企业潜能 | 网络先行——阿里云网络卓越架构白皮书正式发布
深度用云——释放企业潜能 | 网络先行——阿里云网络卓越架构白皮书正式发布
1038 3
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。

热门文章

最新文章