浪潮分布式存储为广电总局打造健康新媒体监管平台

简介:

从"食物相克"到"抢盐风波",从"儿童被盗肾"到"名人被死亡",随着互联网及移动互联网的飞速发展,每一台电脑、手机都成为记录与传播新闻的机器,信息平等、人人掌握话语权,在言论渠道畅通的同时,也滋生了网络谣言。日前,浪潮AS13000入驻广电总局数据中心,对其管理数据处理系统进行扩容,成为广电总局及时发现、快速处置、掌握舆论正确传播导向的得力干将。

新媒体视听内容管理乏力,新系统上线迫在眉睫

新媒体作为如今最活跃的社交、舆论阵地,在给人们带来便利、消弭信息鸿沟的同时,也滋生了一些带有误导性、煽动性的不当舆论和网络谣言。新媒体的传播方式、传播载体、以及传播出去的信息都呈碎片化,并且具有原子核裂变的扩张能量,这给管理工作带来了很大难度,其中视听节目的管理工作更加成为当务之急。

视听节目具有更直观、更具感染力和冲击力等特点,利用影视剧等形式进行的不当舆论传播,其隐蔽性、危害性更强。因此,国家新闻出版广电总局监测数据处理中心(以下简称数据中心)急需建设功能强大、覆盖全面、反应灵敏的视听新媒体管理系统,确保及时对固定互联网、移动互联网等各方面的视听新媒体内容进行管理。

浪潮分布式存储为广电总局打造健康新媒体监管平台

互联网视听节目管理工作刻不容缓

存储性能和容量均遇到瓶颈

广电媒体行业的音视频存储文件格式不同、大小不一,对文件存储的性能、并发能力,以及音视频文件的分析处理能力都提出了很高要求。随着承载业务的逐渐增多,系统需要对多路视频码流并行实时存储,高速处理各类海量数据,而且对硬件设备运行状态进行实时跟踪和动态管理这些都使得存储性能成为了瓶颈,为了使视听新媒体内容管理系统能够在数据中心原有管理系统上迅速启动,需要对数据处理系统进行扩容,将系统整体存储可用容量从原有的约200TB提升至约500TB,增加面向对象的存储节点(OSD)及NAS服务接口节点,以便高效处理多路数据,并对数据进行集中管理,从而释放带宽、提高性能、降低总拥有成本。

原有业务不容有失

在全方位升级系统的同时,还要考虑到如何更好地保护数据中心之前的技术投资。数据中心原有系统仍处于线上环境,在为系统扩容时要保障网络管理工作的正常运行,"业务不中断"成为系统扩容的技术挑战,这不仅对实施方案的完整性及细节处理要求极高,同时对实施现场的团队也是一种考验,技术人员必须具备丰富的实际操作经验和良好心态,才能够在出现意外情况时快速定位并解决问题,保障业务正常上线。

量身打造技术能力,全面提升管理手段

针对此次项目需求,浪潮推荐了AS13000分布式存储系统,为广电总局数据处理中心进行扩容。

浪潮分布式存储为广电总局打造健康新媒体监管平台

AS13000在视频领域有着较广泛的应用,是业界首个支持6层4K超高清视频编辑的分布式NAS媒体存储解决方案,系统支持5000个节点的扩展、480PB海量存储空间,超高的性能和可靠的数据自动修复机制,满足视频监控、广电媒资行业的PB级数据的存储需求。

大、小兼顾,并行处理海量数据

AS13000的海量数据并行处理技术是为媒体行业量身打造的技术包,针对视频广电多媒体行业中的多路文件IO性能进行优化设计,可通过应用感知预读取算法智能识别多种文件格式,优化并发和大、小文件的处理能力,支持各种类型视频节目的制、播、存、编,同时具备多通道带宽优化、磁盘布局优化功能,提升读取性能,满足广电总局在不同场景中多人同时审看视听内容的需求,广泛支持体育、新闻、影视剧、娱乐节目等各类型视频节目制作的存储,显著提升数据中心内容管理工作效率;

统一管理,突破容量、性能限制

针对广电行业数据量几何级增长的特性,AS13000可以突破传统存储物理机架和模块在性能、容量、容灾能力等方面的限制,可扩展的系统结构利用多台存储设备分担数据的并发访问负荷,利用一台控制设备进行统一调度和管理,提高系统的可靠性、可用性及存取效率,并且便于管理,增加了操作人员管理和维护的便捷性,简化系统维护的难度和工作量。

完美兼容,保障业务不中断

广电总局数据中心原有的管理数据处理系统采用AS13000-M3分布式产品进行建设,在本次方案中,浪潮依然采用AS13000分布式存储系统对其视频及码流进行数据保存,做到完美兼容、灵活扩展,实现与原有系统节点间的故障自动切换和负载均衡。AS13000可将数据通过视频码流服务器与万兆传输网络写入存储,存储内部也采用万兆网络进行互联,保证数据高速互通;面对"业务不中断"的挑战,AS13000的全冗余组网机制在任一数据服务或应用主机发生故障的情况下仍可保证数据存取不中断,扩展容量及带宽时仅需在集群中增加相应节点,无需暂停业务,保障广电总局的管理工作持续运行。

广电总局监测数据处理中心相关负责人表示,浪潮AS13000分布式存储在本次项目中实现了三大突破:突破原有存储瓶颈,满足了业务连续性的要求;利用各种监控及报警信息提前为数据保驾护航,带来更高的数据保护能力;提升了对新媒体视听节目的管理能力,对于高并发的海量内容管理提供了可靠高效的保障。通过该平台的建设,广电总局实现了管理数据的统一管理,保护了硬件资源投资,也为后续管理业务打下了坚实的技术基础,从而进一步促进新媒体的健康发展。


原文发布时间为:2016年12月6日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
数据采集 中间件 Python
分布式爬虫在社交数据媒体分析中的应用
分布式爬虫在社交数据媒体分析中的应用
|
1月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
3月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
114 2
基于Redis的高可用分布式锁——RedLock
|
3月前
|
缓存 NoSQL Java
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
这篇文章是关于如何在SpringBoot应用中整合Redis并处理分布式场景下的缓存问题,包括缓存穿透、缓存雪崩和缓存击穿。文章详细讨论了在分布式情况下如何添加分布式锁来解决缓存击穿问题,提供了加锁和解锁的实现过程,并展示了使用JMeter进行压力测试来验证锁机制有效性的方法。
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
|
15天前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
52 16
|
1月前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
61 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
|
1月前
|
NoSQL Redis 数据库
计数器 分布式锁 redis实现
【10月更文挑战第5天】
50 1
|
1月前
|
NoSQL 算法 关系型数据库
Redis分布式锁
【10月更文挑战第1天】分布式锁用于在多进程环境中保护共享资源,防止并发冲突。通常借助外部系统如Redis或Zookeeper实现。通过`SETNX`命令加锁,并设置过期时间防止死锁。为避免误删他人锁,加锁时附带唯一标识,解锁前验证。面对锁提前过期的问题,可使用守护线程自动续期。在Redis集群中,需考虑主从同步延迟导致的锁丢失问题,Redlock算法可提高锁的可靠性。
80 4
|
1月前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
65 4
|
1月前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
56 3

热门文章

最新文章

下一篇
无影云桌面