视频云时代挑战下大数据技术及其应用发展趋势

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

近年来,云计算、云存储、大数据等技术在互联网行业得到了高速发展,技术、产品都得到了较好的市场检验,已被全社会广泛认可。在安防行业,在市场客观需求引领下,主流厂商积极将相关技术引入到行业内,并结合行业特征进行演进,推动云计算、云存储、大数据在行业内的高速发展,同时推出一系列广受市场认可的产品与理念,而云计算、云存储产品也成为各主流厂商主在有关平安城市解决方案中的核心系统之一,这其中所应用的核心技术就成为了衡量所属公司行业地位的关键指标。

screenshot

  视频云时代挑战下大数据技术及其应用发展趋势

视频监控技术趋势一:系统集成下的产品融合

顺应业务发展需求,视频监控行业产品逐渐出现了融合的趋势。一台主机部署多种模块可以提供多样的服务,例如存储、流媒体、管理系统、计算单元等一体化部署的产品,或者一台持续多虚拟机的存储服务器等。一个产品融合多种软件功能模块,提供一体化的解决方案,具备非常好的竞争优势。但同时,多模块混合部署,对各模块资源需求都比较高,因为在有限硬件资源下既要实现资源隔离,又要充分发挥硬件性能,避免额外的开销,又需要具备足够的弹性调整能力。其中容器技术具备众多优势,特别是作为一个轻量级的虚拟化技术手段,结合合理的管理软件系统,以及应用软件系统的配额,会是一个非常好的发展方向。

视频监控技术趋势二:业态趋于多样化

云计算、大数据时代下的视频监控行业的发展塑造业务形态多样化趋势。而互联网化的趋势和应用场景要求革新着传统视频监控行业的发展模式,如更低码流、更高并发度、直播点播、更友好的终端体验等。与此同时,随着国家大力推动智慧城市和平安城市的建设,视频监控行业也逐渐融入到其他行业的布建中,与其他行业形成互补优势,因而视频监控解决方案成为了各行业解决方案中的关键部分,所以这就对视频监控系统的平台开放性、接口合理性等性能提出了非常高的要求。

安防是真正的“大数据”行业

安防是一个真正的“大数据”行业,具备有别于其它行业的专属特征,如何突破安防数据应用瓶颈,带来海量价值,就给相关的技术提出了巨大挑战。

安防行业的数据主要来源于海量的监控摄像头,以一个高清摄像头为例(码流为4Mbps),一个月产生的数据量约为1.2TB,而一个中等城市部署的摄像头数量可达数万只,因此一个月一个中等城市可产生几十PB的视频数据积累。

面对海量的视频数据,传统的存储系统并未改善视频数据价值密度低的问题,并且系统建设成本敏感和性价比低的问题普遍存在。

在此背景下,可以能满足视频流数据的持续性、高强度的读写需求的高性能系统视频云存储系统应运而生。可基于廉价存储服务器和低端高容量磁盘,以分布式存储技术为基础,采用纠删码技术实现成本和可靠性的完美兼顾,同时提供为视频流式特征进行优化,又不失通用性的对象存储能力,可以满足视频存储业务需求,又符合云计算技术发展对存储提出的开放共享要求。

云计算的兴起对视频数据的开放性、读取性能提出了不一样的要求,因此传统基于块的私有视频存储技术及相关方案会逐渐失去市场竞争优势。而逐渐加速发展的SSD(SolidStateDrives)存储技术,也将应势给视频云存储的发展带来重大变革。

应用环境对云存储系统提出的诉求

视频监控获得的视频数据价值密度低是安防行业的通性。举公安领域为例:一台路面摄像头一个月产生的视频数据,也许仅仅只有数秒钟的内容是有价值的,但这数秒钟视频片段对于社会安全具有重大意义。而视频分析是一个非常耗计算资源的过程,单机形态的视频分析服务器计算能力普遍较弱。

因此,对视频云计算提出了较高的通用型的视频分析诉求:借助分布式计算系统能力,充分发挥多节点的并行计算能力,实现多类型视频的高效数据计算等。但是,市面上的视频分析技术难度普遍较高,技术成熟度又参差不齐,虽然视频分析算法近些年取得了非常显著的进步,部分算法也达到了非常好的应用效果,例如视频摘要、浓缩、车牌识别、车型分析等,而更低场景要求的人脸识别、人体特征分析算法效果等,依然与市场的高预期还是具有一定差距。

这就要求在自身云存储系统方面,要既要满足大容量、高可靠、高性能、易扩展、开放共享的视频图像存储基础上,同时又要具备庞大的视频图像计算能力;面向海量视频数据,快速检测提取活动目标,实现人、车、物分类,识别运动目标的特征属性,呈现目标快照和短时视频,解决了视频分析效率低下的问题,由“看视频”变“搜目标”,一触即发、所想即所得;同时使用通用的分析型数据库,提供海量数据极速查询,嵌入特色安防数据分析能力,满足海量数据挖掘需求。

因而笔者预测,通用分布式视频计算框架,搭载成熟、丰富的智能算法,在未来几年将带给视频安防行业的产品和业务重大影响。

如何迎接视频云时代的挑战

现阶段,云存储、计算和大数据相关技术已经对安防行业,特别是视频监控行业,形成了深刻的影响,实现了重大的推进作用。但行业特征决定了技术在行业内的发展演进,借鉴互联网行业先进技术、经验,结合行业特征和业务目标,进行深度优化演进的系统,将拥有非常好的竞争优势。

而视频监控技术和安防领域的长期积累、先进的IT技术融合,互联网思维及持续创新能力的吸收,都是迎接视频云时代挑战不可或缺的关键因素。

====================================分割线================================

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
18天前
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
67 4
|
27天前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
81 1
|
1天前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
4天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
14 3
|
4天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
20 2
|
7天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
34 1
|
9天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
45 2
|
10天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
43 1
|
1天前
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
|
1月前
|
存储 数据采集 分布式计算
大数据技术:开启智能时代的新引擎
【10月更文挑战第5天】大数据技术:开启智能时代的新引擎
下一篇
无影云桌面