基于视频图像的车辆行为检测以车辆轨迹为基础，检测方法按照检测策略一般可分为有监督学习和无监督学习。
监督学习需要人工标注训练数据。在一些简单场景中，可以通过阈值区分车辆行为正常与否，Li 等人基于相邻帧中车辆匀速运动的假设，将运动矢量定义为车辆运动强度，计算学习车辆正常行驶时的运动强度，当视频中检测到车辆运动强度与正常行驶运动强度超过阈值时，即判定为异常行为；Biswas 等人通过隐马尔可夫模型训练定义车辆异常驾驶行为，将异常概率大于阈值的行为判定为异常行为。
但是，在复杂场景中，仅靠阈值检测异常行为效果较差。一些方法通过学习多维特征为车辆行为进行建模。Dong 等人使用行为方向图描述车辆正常行驶行为，将车辆正常行驶的视频序列训练建模；Benezeth 等人用共生矩阵描述像素运动信息，使用马尔可夫随机场建模，学习车辆正常行驶行为。
车辆行为检测还可以作为二分类或多分类问题处理，此类方法需要标注正常行为正样本和异常行为负样本。Sultani 等人将原始视频分段，并标注正负样本，使用三维卷积网络提取视频片段的时空间特征，用于训练多层感知机模型，使得模型对于异常行为片段输出较高得分，正常行为片段输出较低得分；史明骏等人利用 LSTM 模型对车辆轨迹进行分类，在近千个车辆轨迹数据中可以达到较高的车辆行为分类准确率；蒋恩源首先对轨迹进行分段直线快速拟合，提取运动、速度变化率，分析车辆行为，然后进一步基于 SVM 对轨迹进行直行、左右转、停车行为进行分类建模，实现了路口交通视频的语义分析。
基于监督学习的异常行为检测方法通常会受到应用场景的限制，并且所训练模型极易出现过拟合现象，在场景不同时识别效果也会变差。基于无监督的车辆异常行为检测方法基于数据自身规律进行建模。聚类算法是一种最常用的无监督学习，聚类模型计算车辆轨迹与模型中最近的簇的距离，辨别车辆行为是否异常。
余忠庆在检测跟踪的基础上提出了以中心主方向和方向角聚类轨迹的方法，提取出了轨迹的典型模式；卢胜男[42]首先对轨迹依据速度和方向等特征做分段处理，然后提出一种基于增量式 DPMM 的轨迹聚类模型；Goshorn 等人综合考虑了每一聚类，将测试数据与训练数据之间的差异赋予一个代价值，当总代价值高于设定阈值时，才将该轨迹行为判定为异常。
但是聚类算法会将一些非典型正常行为错判为异常行为，造成一定程度的错检。随着深度学习技术的发展，生成对抗网络(Generative Adversarial Network，GAN)也被应用于异常序列检测。该类方法的检测流程是利用 GAN 等网络模型对视频后续帧进行重建或预测，根据重建帧与实际帧视频的误差来达到异常检测的目的。Liu 等人就利用正常行为视频序列训练 GAN 网络模型，所得模型对于异常序列预测效果差，从而判断是否为异常行为。
根据轨迹特点聚类分析是车辆异常行为识别的主流方向，但该类方法只能对轨迹产生之后进行后处理分析，达不到实时效果；而根据邻近帧轨迹点特征识别目标行为，才能对监控视频流进行实时处理，达到更加鲁棒且准确的检测效果。
