浪潮分布式存储为广电总局打造健康新媒体监管平台

简介:

从"食物相克"到"抢盐风波",从"儿童被盗肾"到"名人被死亡",随着互联网及移动互联网的飞速发展,每一台电脑、手机都成为记录与传播新闻的机器,信息平等、人人掌握话语权,在言论渠道畅通的同时,也滋生了网络谣言。日前,浪潮AS13000入驻广电总局数据中心,对其管理数据处理系统进行扩容,成为广电总局及时发现、快速处置、掌握舆论正确传播导向的得力干将。

新媒体视听内容管理乏力,新系统上线迫在眉睫

新媒体作为如今最活跃的社交、舆论阵地,在给人们带来便利、消弭信息鸿沟的同时,也滋生了一些带有误导性、煽动性的不当舆论和网络谣言。新媒体的传播方式、传播载体、以及传播出去的信息都呈碎片化,并且具有原子核裂变的扩张能量,这给管理工作带来了很大难度,其中视听节目的管理工作更加成为当务之急。

视听节目具有更直观、更具感染力和冲击力等特点,利用影视剧等形式进行的不当舆论传播,其隐蔽性、危害性更强。因此,国家新闻出版广电总局监测数据处理中心(以下简称数据中心)急需建设功能强大、覆盖全面、反应灵敏的视听新媒体管理系统,确保及时对固定互联网、移动互联网等各方面的视听新媒体内容进行管理。

浪潮分布式存储为广电总局打造健康新媒体监管平台

互联网视听节目管理工作刻不容缓

存储性能和容量均遇到瓶颈

广电媒体行业的音视频存储文件格式不同、大小不一,对文件存储的性能、并发能力,以及音视频文件的分析处理能力都提出了很高要求。随着承载业务的逐渐增多,系统需要对多路视频码流并行实时存储,高速处理各类海量数据,而且对硬件设备运行状态进行实时跟踪和动态管理这些都使得存储性能成为了瓶颈,为了使视听新媒体内容管理系统能够在数据中心原有管理系统上迅速启动,需要对数据处理系统进行扩容,将系统整体存储可用容量从原有的约200TB提升至约500TB,增加面向对象的存储节点(OSD)及NAS服务接口节点,以便高效处理多路数据,并对数据进行集中管理,从而释放带宽、提高性能、降低总拥有成本。

原有业务不容有失

在全方位升级系统的同时,还要考虑到如何更好地保护数据中心之前的技术投资。数据中心原有系统仍处于线上环境,在为系统扩容时要保障网络管理工作的正常运行,"业务不中断"成为系统扩容的技术挑战,这不仅对实施方案的完整性及细节处理要求极高,同时对实施现场的团队也是一种考验,技术人员必须具备丰富的实际操作经验和良好心态,才能够在出现意外情况时快速定位并解决问题,保障业务正常上线。

量身打造技术能力,全面提升管理手段

针对此次项目需求,浪潮推荐了AS13000分布式存储系统,为广电总局数据处理中心进行扩容。

浪潮分布式存储为广电总局打造健康新媒体监管平台

AS13000在视频领域有着较广泛的应用,是业界首个支持6层4K超高清视频编辑的分布式NAS媒体存储解决方案,系统支持5000个节点的扩展、480PB海量存储空间,超高的性能和可靠的数据自动修复机制,满足视频监控、广电媒资行业的PB级数据的存储需求。

大、小兼顾,并行处理海量数据

AS13000的海量数据并行处理技术是为媒体行业量身打造的技术包,针对视频广电多媒体行业中的多路文件IO性能进行优化设计,可通过应用感知预读取算法智能识别多种文件格式,优化并发和大、小文件的处理能力,支持各种类型视频节目的制、播、存、编,同时具备多通道带宽优化、磁盘布局优化功能,提升读取性能,满足广电总局在不同场景中多人同时审看视听内容的需求,广泛支持体育、新闻、影视剧、娱乐节目等各类型视频节目制作的存储,显著提升数据中心内容管理工作效率;

统一管理,突破容量、性能限制

针对广电行业数据量几何级增长的特性,AS13000可以突破传统存储物理机架和模块在性能、容量、容灾能力等方面的限制,可扩展的系统结构利用多台存储设备分担数据的并发访问负荷,利用一台控制设备进行统一调度和管理,提高系统的可靠性、可用性及存取效率,并且便于管理,增加了操作人员管理和维护的便捷性,简化系统维护的难度和工作量。

完美兼容,保障业务不中断

广电总局数据中心原有的管理数据处理系统采用AS13000-M3分布式产品进行建设,在本次方案中,浪潮依然采用AS13000分布式存储系统对其视频及码流进行数据保存,做到完美兼容、灵活扩展,实现与原有系统节点间的故障自动切换和负载均衡。AS13000可将数据通过视频码流服务器与万兆传输网络写入存储,存储内部也采用万兆网络进行互联,保证数据高速互通;面对"业务不中断"的挑战,AS13000的全冗余组网机制在任一数据服务或应用主机发生故障的情况下仍可保证数据存取不中断,扩展容量及带宽时仅需在集群中增加相应节点,无需暂停业务,保障广电总局的管理工作持续运行。

广电总局监测数据处理中心相关负责人表示,浪潮AS13000分布式存储在本次项目中实现了三大突破:突破原有存储瓶颈,满足了业务连续性的要求;利用各种监控及报警信息提前为数据保驾护航,带来更高的数据保护能力;提升了对新媒体视听节目的管理能力,对于高并发的海量内容管理提供了可靠高效的保障。通过该平台的建设,广电总局实现了管理数据的统一管理,保护了硬件资源投资,也为后续管理业务打下了坚实的技术基础,从而进一步促进新媒体的健康发展。


原文发布时间为:2016年12月6日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
人工智能 运维 算法
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
620 14
|
数据采集 中间件 Python
分布式爬虫在社交数据媒体分析中的应用
分布式爬虫在社交数据媒体分析中的应用
|
10月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
665 2
|
10月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
769 6
|
11月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
1784 0
分布式爬虫框架Scrapy-Redis实战指南
|
NoSQL Java 中间件
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
1637 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
|
9月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
777 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
975 67