视频分析技术通常采用计算机视觉（Computer Vision，CV）技术，在具体的场景下将场景背景与感兴趣的目标分离，实现目标进行追踪分析。通常会定义一定的规则，当场景下的目标出现违反规则的行为时，记录下目标违规行为。视频分析技术最早出现在国外，一开始主要出现在一些实验室，为军方提供一些应用产品，主要应用于反恐。随着技术的发展，视频分析逐渐应用到工业及民用领域，主要在公共场所使用，如：机场、医院、银行等。再到后来，因为市场对更强大的监控系统的需求，国内外视频分析技术飞速发展，技术也越来越成熟。全世界逐渐出现很多公司潜心在视频分析这一领域，如美国的 ObjectVideo、以色列的 NICE 以及中国的海康威视等。
视频分析有着两种计算的方法，第一种是对行为的分析，第二种是对特征的识别。其中第一种对行为的分析重点在于背景的模型建立以及采用何种目标检测技术，这种计算方法通常目的是在背景中检测到活动目标的状态，比如检测背景中人员状态、检测背景中一群人状态或者某个人是否有异常行为等。第二种对特征的识别，和第一种不同点在于不需要对背景进行建模，这种计算方法的重点在于需要大量目标特征信息，信息越多越好，比如识别交通信号灯、识别人脸、识别车辆牌照号码等。
视频分析的工作前提条件是对前景目标物的探测，最基础的方法就是背景减除法，背景减除法是通过两帧图像的差分来达到检测出目标物的效果，一般来说，选择当前图像以及背景图像两帧图像来差分，背景减除法既有优点也有缺点，优点在于检测出的目标数据特征比较好，在检测精确度和检测灵敏度方面也非常优秀，性能较为突出。但是，背景减除法缺点是对于动态背景的目标识别效果比较差，主要是太阳光对这种方法影响过大。
背景学习是视频分析算法中比较耗时的一项，背景学习的本质是采用时间平均图像的方式，计算出背景在特定时段的平均图像，把这个平均图像当作在这个时间段的背景模型，当这个过程结束的时候，为了防止场景图象的变化对建立的模型产生影响，这就需要系统有着一定的维护能力，也就是说背景模型有可能会改变，因此模型的建立是目标检测以及视频分析技术的基础。视频分析的本质是人工智能，视频分析技术和人类的眼睛类似，人类的眼睛采集到的画面，然后将清楚的焦距图像以及不清楚的焦距图像都传送到大脑中，大脑会对这些图像进行分级处理，一般来说，大脑会把图像背景、距离较近图像中移动速度较慢、距离较近的物体的分辨率降低，从而着重分析具有突出的特征物体，视频分析技术背景模型动态的变化就是与该过程相似，视频分析技术则是忽略特征不感兴趣的物体，着重于感兴趣目标，最后对目标做出相应的判断。
传统的视频分析技术虽然解决了视频的存储和回放，以及各厂商视频流的互联互通，但仍然无法精准识别、定位和查找视频中的人、车、物等目标信息以及对目标进行精确特征提取，近些年来随着深度学习方法应用到视频分析中来，研究者在智能化监控技术的运动检测、目标跟踪、视频分割、行为识别等领域进行了很多研究并取得了丰硕的成果。智能视频监控正成为学术界、工业界新兴的研究热点和开发方向。
视频分析技术给视频监控领域带来了颠覆性的革命，具有美好的发展前景的同时还有这很多的问题和挑战，比如天气的干扰能不能彻底解决、如果视频质量低怎么办、目标物移动速度超过检测速度导致识别不了等。虽然目前这些问题依然存在，但是随着技术更新迭代，监控领域结合视频分析一定会有更好的发展。
