简介：
现在-a-day全球人口和车辆数量迅速增加，交通堵塞和事故正在成为一个世界性的问题。大多数事故和拥堵都归咎于非法驾驶。在许多地区，交通违法行为的管理仍然很大程度上基于人工监控，因此一旦使用电磁线圈设备来检测该地区的违法车辆，随之而来的惩罚是手动的。然而，车辆的电磁线圈只能检测少量的违法行为，例如超速和闯红灯。科学家们在研究上述问题方面取得了许多成果，其中许多在稳健性和泛化性方面与工业实施有些距离。本文通过改进和结合检测、跟踪、检测和其他基于深度学习的计算机视觉算法，开发了一种有效的车辆违章检测系统，用于各种车辆违章，包括闯红灯检测和不礼貌行人检测。
系统设计和架构：
车辆检测、跟踪和多属性识别，如车牌、类型、颜色和方向，是进一步违章检测的基础。在本系统中，我们实现了车辆违章检测模块，包括红灯行驶检测和斑马线区域不礼貌行人检测。
结合实际应用场景，该系统采用三层架构实现：
·表示层充当用户和系统之间的桥梁。
·业务层包含基础支持模块和违章检测模块，获取实时监控数据，将车辆违章记录保存到本地。
·数据层监督提供和保留这些数据以供处理。
该系统基于Python 3.7、Pytorch 0.4和PyQt5实现，用户可以轻松地在Windows 10上运行。
车辆违规检测系统：
1.基本支持模块：
基本支持模块存在于业务层，有助于监控数据。这些模块由
·检测和跟踪模块：
对于基本的检测和跟踪，Yolov3和SORT算法相结合。目前主流的基于深度学习的检测算法，包括Yolo、SSD、R-CNN、RetinaNet、FPN等。本文通过Yolov3获取视频中车辆的位置，为我们系统中的其他模块提供必要的信息。此外，为了实现帧之间同一车辆的关联，我们采用SORT跟踪多辆车辆。
·多属性识别模块：
在本系统中，车牌识别是基于LRPNet和MTCNN设计的。LRPNet由轻量级卷积神经网络组成，采用端到端的方式进行训练。人脸关键点检测中广泛采用MTCNN（多任务卷积神经网络），可以同时完成人脸检测和人脸对齐的任务。在我们的系统中，考虑到速度的因素，我们只使用MTCNN的P-Net和O-Net进行车牌定位，去除R-Net后精度几乎没有损失。为了更好的性能，LRPNet与MTCNN相结合进行车牌识别。B-CNN是一种用于细粒度分类的神经网络模型，用于识别车辆的其他属性，如颜色、类型和其他信息。该算法采用ResNet-18。
2.违规检测模块：
有许多车辆违规行为，但在本文中，我们集中并实施以下违规行为：
·红灯运行检测：
计算机视觉检测车辆违章被分解为两部分。最初，由于其明显的颜色特征，采用基于HSV颜色空间的信号灯识别。将图像的RGB颜色空间转换为HSV颜色空间，过滤掉不相关的颜色背景，然后根据HSV角度测量的阈值方法提取候选区域。其次，当红灯被识别时，我们需要进一步判断车辆是否越线。计算被检测车辆包围盒中心点与相应车道边界线的垂直距离，以测量车辆是否越线。值得注意的是，为了增强复杂场景的通用性，我们建立了一个虚拟感知区域，在交通信号灯和检测区域之间建立多对多的映射关系。
·不礼貌的行人检测：
在礼让区域，车辆不减速的行为会导致行人不礼貌。在人工确定斑马线礼让区域后，执行不礼貌行人的检测。这种违章检测分为三个步骤：关系建立、违章判断和关系去除。
定义了一种新策略来测量车辆是否减速，我们计算速度如下：
- Nd Ct-1分别是第t帧和第t-1帧中被检测车辆包围盒的中心。
- 相邻速度之间的差异定义为
- 如果差值大于阈值，则速度异常，不能使用
在建立关系的过程中，当礼让区域至少有一个行人和车辆时，我们建立并量化他们之间的关系，行人被Yolov3检测到。我们还发现了车速变化的趋势并保存在数据库中。如果计算出的行人和车辆之间的距离小于阈值，则车辆违反了不礼貌的行人行为。如果距离较大，车辆穿过行人，不违反条件。因此，我们执行关系移除并将其从数据库中删除，以降低空间和时间复杂度。
系统实现：
本系统最初LinuxNvidia TITAN RTX、CUDA 10.0、Python 3.7和Pytorch 0.4实现。交互界面实现后，系统可以在Windows 10上使用。该系统在多个交通路口进行了测试。
交通分析示例：下图显示了被检测车辆的时间记录，以及它们对应的属性。下面，我们分别统计摩托车、自行车、行人、公共汽车、卡车和汽车的数量，然后根据统计结果建立交通流量和交通饱和度模型，从而分别呈现车辆类型的实时统计和历史交通数据分析的分析。
红灯行驶检测示例：下图显示了违反红灯行驶条件的车辆详细信息。在图像中，第二车道车辆被识别为车辆在红灯信号期间穿越道路车道。因此，显示了车辆的详细信息。
不礼貌行人检测示例：下图显示了违反不礼貌行人条件的车辆详细信息。在图像中，车辆被识别为在礼让区不会减速。因此，显示了车辆的详细信息。
由于道路资源有限，车辆和行人数量不断增加，频繁的交通违章行为增加，交通管理成本增加。一个智能且成本更低的方案对于解决交通管理问题至关重要。本文的目的是设计和实现一个基于深度学习的能够检测、跟踪和识别车辆违章行为的系统。此外，还支持常见违章行为的检测和实时报警，如闯红灯和不礼貌的行人。虽然传统的检测和监控基于物理设备，但我们的系统完全基于计算机视觉，利用了深度学习的最新进展。
综上所述，本系统提供了交通场景的实时监控和数据分析，这对城市地区的智能交通管理至关重要。实验也表明，它可以在更大程度上降低成本。本文给出了基于深度学习技术的车辆违章检测系统的详细设计和实现，该系统结合了几个流行的功能模块。该系统为智能交通管理的发展提供了有效的技术支持。
