《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

本文涉及的产品
AI安全护栏试用包,10万次资源包1年有效
简介: 《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(上)

3.3 社交安全

 

社交媒体在满足用户社交需求的同时,也担任着维持平台上内容安全、保护平台 数据安全、保障用户隐私安全等责任。我国的《网络安全法》规定,网络社交平台属 于网络服务提供者,负有相应的网络安全管理义务和提醒义务等法定义务,主要是协 执法、内容信息监管、用户数据保护等。


3.3.1 社交内容安全

 

3.3.1.1 社交内容安全需求分析


早在2018年,    《西雅图时报》撰稿人Dick  Lily在一篇名为“社交媒体的算法将我 们带入黑暗、分裂的兔子洞”的文章指出:“社交媒体平台利用算法来迎合我们对 “刺激”的需求 — 我们的担忧,我们的恐惧,还有我们对某些事物的厌恶,它驱使我 们不地点击,这样他们就可以向我们展示广告。”社交媒体导致极端主义,传播偏 见和恨,并可能导致暴力。这种现象的根源在于算法的应用。《纽约时报》在一篇 报导提到,“算法决定每个用户看到的动态,它的核心使命是推广能够最大化用户 参与度的内容。研究发现,凡是能够挑动愤怒以及恐惧等负面、原始的情绪的帖子, 其阅数量将会激增。”德国的一项研究表明,在近几年反移民暴力事件发生后,仅靠单一的内容页面并不能起到煽动作用,而一旦用户登陆某个页面,Facebook YouTube算法便会逐步深入右翼宣传。印第安纳大学信息学与计算机科学授 Filippo1Menczer在一篇文章中提到,由于集体预测通常比个人预测更准确,人们在 做出决时倾向于依据他人的行动、意见和偏好作为指引。在数百万年的进化过程 中,种倾向以“认知偏差”的形式被编码到人类大脑中,比如“跟风效应”。人们模 仿邻居跟随赢家、跟随大多数。这种“群体智慧”(The Wisdom of The Crowds)的 效性建立在一个假设之上,即群体是由不同的、独立的来源组成的。


互联网科技使得人们能够获取到来自不计其数的素不相识的人的信息。由于人们 向于与相似的人交往,他们的在线社群不再多样化。这将人们推入同质化的社  — 通常被称为“回音室”(The Echo Chamber Effect)。而“群体智慧”在这一场景 中不再有效。Tom1Nichols曾在《专家之死》一书中指出,高等教育的商品化、互联 网领域的内容过剩,以及媒体行业的娱乐化使人们“无知却很自信”,大众对专家的 抵触使得来越多的专家陷入一种“社会性死亡”。由此,反智主义盛行。“社交媒体 被用来传播错误信息放大问题、模仿社会运动、推动阴谋”,一名哈佛大学的研究主 甚至表示,“错误信息是社交媒体的一个特征,而不是漏洞。”


在这个信息膨胀时代,内容安全有位重要。同时法律法规及既为用户维权有法可 依提供了基础,也为行业内各个社交平台敲响了警钟,预防是比事后补救更好的解决 方法,平台构建更健全的内容审核机制和审核吐啊对的重要性可谓是不言而喻的。


3.3.1.2 阿里内容安全能力


随着社交媒体上用户量、用户创造和传播的内容的不断增加,内容安全的重要性 也随之不断上升。各社交平台可以从零开始自建内容安全能力,也可以依托于阿里云 积累的多种云上内容安全能力,一起来保障云上社交的内容安全。阿里云为云上业务 提供的内容全能力有:内容检测APIOSS违规检测和站点检测等功能,其中每个 能都能适用于多种场景。

 

3.3.1.2.1 内容检测API

 


用场景

 

 

 

片违规内容检测

检测片违规或识别图片中的不良信息。具体支持以下场景:

    智能鉴黄

•    暴恐涉政检测

   图文违规检测

    二维码检测

•    不良场景检测(图片中无内容、画中画、吸烟、车直播)

•    logo

 

 

频违规内容检测

检测视频中的违规内容或不良信息。具体支持以下场景:

    智能鉴黄

•    涉政暴恐检测

   图文违规检测

   不良场景检测(例如黑屏、白屏)

•    logo

 

 

 

 

文本垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

 

语音垃圾内容检

检测语中的违规或不良内容,具体包括以下场景:

•    广告内容检测

•    涉政暴恐检测

•    辱骂内容检测

•    色情内容检测

•    灌水内容检测

•    无意义内容检测

•    违禁品内容检测

•    不良场景内容检测(保护未成年场景,支持拜金炫富、追星应援、 负面情绪负面诱导等检测场景)

•    自定义关键词检测

 

 

 

文件垃圾内容检测

检测文中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

•     sface:敏感人

     qrcode:二维码

    live:不良场景(图片中无内容、画中画、吸烟、 直播;视频黑屏、白屏)

•    logologo识别

 


页垃圾内容检测

 

检测网中的违规或不良内容,具体包括以下场景:

•    porn:鉴黄

•    ad:广

    terrorism:暴恐涉政

    live:不良场景(图片中无内容、画中画、吸烟、车内直播; 视频黑屏、白屏)

 

 

 

 

 

文OCR识别

识别图片中的各种文字信息(结构化或非结构化信息)。支持识别 结构化卡证对象包括:

份证

业执照

增值税发票

驶证

驶证

车牌

辆Vin码

 

 

 

脸识别

脸识别包括以下能力:

•    人脸属性检测

    人脸比对

•    活体翻拍检测

•    图片敏感人脸识别

•    视频敏感人脸识别

   自定义人脸检索

片标签识别

识别片中的主体,并输出对应的标签。

似图检索

根据给定的片到用户自定义图库检索相似的TOP N张图片。

频质检检测

据给定的视频,检测文件中是否有模糊、拼接、低亮度、 、静帧等质量问题。

 




《云上社交行业技术服务白皮书》——第三章 云上社交典型场景与架构——3.3 社交安全——3.3.1 社交内容安全(下) https://developer.aliyun.com/article/1232348?groupCode=supportservice

相关文章
|
5月前
|
人工智能 安全 Cloud Native
Nacos 3.0 架构升级,AI 时代更安全的 Registry
随着Nacos3.0的发布,定位由“更易于构建云原生应用的动态服务发现、配置管理和服务管理平台”升级至“ 一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台 ”。
|
5月前
|
存储 设计模式 人工智能
AI Agent安全架构实战:基于LangGraph的Human-in-the-Loop系统设计​
本文深入解析Human-in-the-Loop(HIL)架构在AI Agent中的核心应用,探讨其在高风险场景下的断点控制、状态恢复与安全管控机制,并结合LangGraph的创新设计与金融交易实战案例,展示如何实现效率与安全的平衡。
790 0
|
5月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
539 0
|
2月前
|
存储 监控 安全
132_API部署:FastAPI与现代安全架构深度解析与LLM服务化最佳实践
在大语言模型(LLM)部署的最后一公里,API接口的设计与安全性直接决定了模型服务的可用性、稳定性与用户信任度。随着2025年LLM应用的爆炸式增长,如何构建高性能、高安全性的REST API成为开发者面临的核心挑战。FastAPI作为Python生态中最受青睐的Web框架之一,凭借其卓越的性能、强大的类型安全支持和完善的文档生成能力,已成为LLM服务化部署的首选方案。
|
8月前
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
9月前
|
人工智能 运维 安全
AI 安全架构概述
AI 安全架构涵盖数据采集、模型训练、推理部署等阶段,确保安全性、隐私与合规。其核心组件包括数据层、模型层、推理层、应用层和运维层,针对数据安全威胁(如数据投毒)、模型窃取、对抗攻击及系统漏洞等风险,提出数据加密、对抗训练、联邦学习等防御策略,并强调开发前、开发中和部署后的最佳实践,以降低 AI 解决方案的安全风险。
899 13
|
4月前
|
存储 安全 前端开发
如何开发一套EHS 健康安全环境管理系统?(附架构图+流程图+代码参考)
本文介绍如何开发一套完整的EHS(健康、安全和环境)管理系统,涵盖系统核心模块、技术架构、数据库设计、前后端开发示例及上线建议,帮助企业提升安全管理效率与合规性。
|
4月前
|
传感器 安全 前端开发
如何开发一套EHS健康安全环境管理系统中的风险管理板块?(附架构图+流程图+代码参考)
本文详解企业EHS(健康·安全·环境)系统中的风险管控板块,强调其核心在于构建“识别—评估—巡检—治理—验证”的闭环流程,将风险数据可视化并转化为可落地的行动指引。内容涵盖风险管控的意义、功能边界、系统架构、LEC评估方法、巡检流程、看板设计、开发技巧、落地建议、实现效果及代码参考,帮助技术团队和EHS负责人快速掌握系统搭建要点,提升企业安全管理水平。
|
5月前
|
文字识别 运维 监控
架构解密|一步步打造高可用的 JOCR OCR 识别服务
本文深入解析了JOCR OCR识别服务的高可用架构设计,涵盖从用户上传、智能调度、核心识别到容错监控的完整链路,助力打造高性能、低成本的工业级OCR服务。
235 0
架构解密|一步步打造高可用的 JOCR OCR 识别服务