高清视频背后 关于数据量巨增的一些思考

简介:

目前安防监控领域已经从模拟时代演变到网络数字时代,高清时代也已经到来,监控的应用范围逐步扩大,许多行业应用已经不仅仅是本地小范围监控,而是在全局联网的基础上,进行城市级、省级乃至全国范围内跨区域的大规模高清联网监控,数据量持续猛增,如何高效处理庞大的数据,是每个视频监控厂商需要共同面对的课题。

(本文作者 李海辉 现任高新兴科技集团股份有限公司研发中心产品市场部

  中国庞大市场背后数据爆炸式增长

从整个产业环境来看,经过过去几十年的发展,国内的视频监控产业已形成了品种齐全、技术水平先进的产业体系,视频监控产品的应用环境也不局限于安全防范,在人流统计,设备检测等领域也得到了广泛的应用。尤其是近几年,国家对“平安城市”、“智能交通”、“智慧城市”等项目的重视,有力地促进了公安、政府及社会各界对智能安防产品需求。数据显示,《中国安防行业“十二五”发展规划》数据显示,中国已经发展成为世界上最庞大的安全防范产品市场之一。

同时,视频监控产业近几年保持了高速增长的态势,未来发展也一度被看好,高清化、智能化成为行业发展的主导方向,行业前景持续保持高度景气。但是庞大的中国市场背后,随着视频联网监控范围的扩大、前端监控点数量的增多、也出现了多方面的问题:视频录像数据爆炸式增长,安防系统的应用和性能受制于海量视频图像信息的采集、分析和处理。因此,实现视频监控产业的跨越式发展,必须通过在安防产品中结合增强现实与视频结构化描述技术,在云计算的环境下实现视频结构化大数据分析应用等新技术手段来解决相应问题。

高清视频与数据处理二者如何兼顾

高清视频监控系统产生的大数据有“4V”特征:Volume(体量巨大)、Variety(类型多样化)、Velocity(处理速度快)和Value(价值密度低),但它与传统数据系统产生的数据相比,又存在较大的不同。传统数据一般是文本类型或数值类型,形式较为简单,容易对其进行分析和处理;而视频监控数据是基于内容的数据,信息量庞大,计算机无法理解其包含的内容和所表达的语义。

图像视频的理解和识别一直是计算机视觉领域的难题,由于无法智能地分析出视频中蕴含的丰富内容,很多时候仍然要耗费大量的人力物力,在海量的视频监控数据中查找有价值的信息,无异于大海捞针。

基于以上视频监控数据的特点,首先需要解决海量监控视频的存储问题,然后以云计算技术框架为支撑,结合智能分析算法,在理解视频内容的基础上,对视频监控数据及其关联数据进行综合分析。

目前,基于内容的智能分析在视频监控领域得到了深入研究,但智能分析除了受限于算法理论的发展,更受限于计算能力的发展,智能分析的算法复杂度较高,而且其样本数量庞大,非普通计算系统所能胜任。因此采用云计算和云存储技术来解决城市视频大数据智能化应用的需求就显得非常的紧迫。

  数据量剧增背后智能监控那些事儿

庞大的视频监控网络每天所产生的数据量是惊人的,而相比之下,其中的有效信息如同凤毛麟角,于是视频监控智能化成为产业内共同关注的话题。我国对智能视频监控的研究虽起步较晚,但由于国家的高度重视,也得到了突飞猛进的发展。早期,微软亚洲研究院对视频的场景分割、字幕探测与识别等技术进行了深入研究;清华大学对场景分割、场景关键帧提取等探测技术进行了研究;北京理工大学对场景分割与摘要提取做了研究;武汉大学、浙江大学、复旦大学对视频镜头的分割与检索技术进行了研究,并取得了重要成果。

现如今,虽然在智能视频监控的研究上取得到了很大的进展,但由于自然环境复杂多变以及应用场合的多样化,监控中的运动目标检测与跟踪过程始终是智能监控的难点和重点。为了实现对视频资源进行视频录像文件的高效分析、视频摘要压缩、视频线索库、车辆识别、人脸识别等服务,以及利用基于视频智能化分析、检索和存储管理的服务,实现对嫌疑目标的快速自动识别,对运动目标的结构化描述,成为目前研究热点。

对比国内外智能监控产品,国外的先进智能产品由于售价及维护成本高昂,同时缺乏本土化开发经验,产品大多是为满足国外的用户需要而设计的,与我国“智慧型平安城市”的应用、管理、规模、使用习惯、应用环境等方面的实际情况有较大的差异,不适合我国的国情。而国内安防企业亦需要突破平安城市海量视频存储和管理的核心技术,紧跟未来智慧城市的大物联、大数据、大安防的发展步伐和速度。

视频监控产业将带动相关产业共同发展

视频监控产业属于知识密集型产业,不仅产业影响力大,而且还具有行业附加值高、整个产业链长、对经济的拉动作用大等特点,要实现跨越式发展就要加大研发投入,加快技术改进,促进行业进步。而在产业的技术供给方面,产业技术的发展会推动其它相互关联产业的技术进步,从而使整个产业的技术水平不断向更高层次推进。可以看出,视频监控产业的发展可以同时带动一批软件、硬件、芯片、集成企业,使得整体技术水平得到一个共同的飞跃式进步。

从《安防行业“十二五”发展规划》中,不难预测出未来10年是智能安防的战略机遇期。在智慧城市、物联网技术、宽带网络发展的推动下,智能安防产业链的整合和深化应用将成为主要趋势,既能推动云计算产业的发展,又将实现视频监控领域的大数据智能化应用,从而加快“智慧城市”的建设步伐。
本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
缓存 安全 前端开发
5分钟,我把网站性能优化了3倍
5分钟,我把网站性能优化了3倍
|
7月前
|
机器学习/深度学习 存储 人工智能
又拍图片管家亿级图像之搜图系统的两代演进及底层原理
又拍图片管家亿级图像之搜图系统的两代演进及底层原理
79 0
|
10月前
|
算法 搜索推荐
【直播预告】融合复杂目标且支持实时调控的重排模型在淘宝流式推荐场景的应用
【直播预告】融合复杂目标且支持实时调控的重排模型在淘宝流式推荐场景的应用
230 1
|
10月前
|
传感器 机器学习/深度学习 编解码
|
11月前
|
机器学习/深度学习 数据采集 自然语言处理
谷歌机器人迈入「交互语言」新纪元!开放命令正确率高达93.5%,开源数据量提升十倍
谷歌机器人迈入「交互语言」新纪元!开放命令正确率高达93.5%,开源数据量提升十倍
|
存储 编解码 缓存
鹿班 PICASSO 实时渲染引擎的奥秘,如何支撑每秒千万图像访问?
读者受益: 1、鹿班PICASSO实时合图引擎因何而生 2、实时合图引擎如何支撑每秒千万图像访问 3、实时合图引擎应用场景介绍
1278 0
鹿班 PICASSO 实时渲染引擎的奥秘,如何支撑每秒千万图像访问?
|
SQL 存储 缓存
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
报表加载慢、分析卡顿导致思路被打断...常常会给数据分析师造成很大困扰。 不如试试Quick引擎,十亿数据只需0.3秒就可以完成数据分析!
237 0
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
|
机器学习/深度学习 数据采集 自然语言处理
千亿参数大模型时代,QQ浏览器团队十亿级小模型「摩天」登顶CLUE,极致压榨网络性能
今年以来,中文 NLP 圈陆续出现了百亿、千亿甚至万亿参数的预训练语言模型,炼大模型再次延续了「暴力美学」。但 QQ 浏览器搜索团队选择构建十亿级别参数量的「小」模型,提出的预训练模型「摩天」登顶了 CLUE 总排行榜以及下游四个分榜。
223 0
千亿参数大模型时代,QQ浏览器团队十亿级小模型「摩天」登顶CLUE,极致压榨网络性能
|
机器学习/深度学习 人工智能 弹性计算
每秒处理107万张图片!阿里云打破MLPerf推理性能测试纪录
阿里云震旦异构计算加速平台全栈优化技术获历史性突破,MLPerf图像分类场景性能测试夺得多项第一。
每秒处理107万张图片!阿里云打破MLPerf推理性能测试纪录
|
存储 SQL NoSQL
深度 | 实时历史数据库存储成本惊人,怎么破?
深度 | 实时历史数据库存储成本惊人,怎么破?
1310 2
深度 | 实时历史数据库存储成本惊人,怎么破?