大家好,今天主要和大家分享一下,如何利用QT实现视频监控的基本操作。
第一:视频监控基本简介
常见的视频监控和视频直播就是使用RTMP 和 RTSP 流媒体协议等。
RTSP (Real-Time Stream Protocol)由 Real Networks 和 Netscape 共同提出的,基于文本 的多媒体播放控制协议。RTSP 定义流格式,流数据经由 RTP 传输;RTSP 实时效果非常好,适 合视频聊天,视频监控等方向。
RTMP(Real Time Message Protocol) 由 Adobe 公司提出,用来解决多媒体数据传输流的 多路复用(Multiplexing)和分包(packetizing)的问题,优势在于低延迟,稳定性高,支持所 有摄像头格式,浏览器加载 flash 插件就可以直接播放。
说了上面那么多,是为了让大家了解当下比较火的流媒体协议。一般这种协议需要搭配服 务器如 Nginx 服务器和 ffmpeg 工具来使用。当然像 ffmpeg 这种强大的工具我们是写不出来的, 这种强大的工具已经发展的很好,专门是做音视频处理方案的。
如果我们不 想用这种方式来做视频监控,有没有简单的一些方案在 Qt 里能使用的呢。答案是有的。看下面的方案。
在这本 Qt 教程里,前面第十一章,我们已经学习过网络编程。既然学习过网络编程,使用 UDP 或者 TCP 传输,使用 Qt 封装好 TCP/IP 协议 Socket 抽象层接口来通信。那么我们也可以 使用它们来发送图像数据啊。这样,服务器和客户端我们完全可以使用 Qt 来写了。实际上 RTSP 协议和 RTMP 协议都使用 TCP/IP 协议,在传输层使用了 UDP 或 TCP,所以说 RTSP 和 RTMP 协议是更高的一层协议。
第二:实验流程图
数据传输原理流程图。
我们需要完成的任务如下。
(1) 服务器采集摄像头的数据。
(2) 处理视频数据转交给 Socket,由 TCP/UDP 传输。
(3) 客户端接收视频数据。
本章项目流程图。
本项目,使用的是 OV5640 摄像头(500 万像素),本次我们使用 Qt 的 QUdpSocket 传输, 这样就可以有多个客户端可以在不用连接的情况下接收到图像数据。服务端为正点原子的 I.MX6U 开发板,客户端可以为计算机或者其他 I.MX6U 开发板或其他能运行 Qt 的 ARM 开发板。
第三:视频监控之服务器
服务端工程结构如下:
项目文件夹下内容解释,源码在工程中查看,有详细注释。 video_server 项目下:
1、capture_thread.h 这个是摄像头捕获线程的头文件。摄像头采集数据,我们开启一个线程来 获取。
2、capture_thread.cpp 摄像头线程的主程序。 其他文件是界面文件,不用再介绍。 capture_thread.h 的内容如下。
1 #ifndef CAPTURE_THREAD_H 2 #define CAPTURE_THREAD_H 3 4 #include <sys/types.h> 5 #include <sys/stat.h> 6 #include <fcntl.h> 7 #include <stdio.h> 8 #include <unistd.h> 9 #include <string.h> 10 #include <pthread.h> 11 #ifdef linux 12 #include <linux/fb.h> 13 #include <sys/ioctl.h> 14 #include <sys/mman.h> 15 #include <linux/videodev2.h> 16 #include <linux/input.h> 17 #endif 18 19 #include <QThread> 20 #include <QDebug> 21 #include <QPushButton> 22 #include <QImage> 23 #include <QByteArray> 24 #include <QBuffer> 25 #include <QTime> 26 #include <QUdpSocket> 27 28 #define VIDEO_DEV "/dev/video1" 29 #define FB_DEV "/dev/fb0" 30 #define VIDEO_BUFFER_COUNT 3 31 32 struct buffer_info { 33 void *start; 34 unsigned int length; 35 }; 36 37 class CaptureThread : public QThread 38 { 39 Q_OBJECT 40 41 signals: 42 /* 准备图片 */ 43 void imageReady(QImage); 44 void sendImage(QImage); 45 46 private: 47 /* 线程开启 flag */ 48 bool startFlag = false; 49 50 /* 开启广播 flag */ 51 bool startBroadcast = false; 52 53 /* 本地显示 flag */ 54 bool startLocalDisplay = false; 55 void run() override; 56 57 public: 58 CaptureThread(QObject *parent = nullptr) { 59 Q_UNUSED(parent); 60 } 61 62 public slots: 63 /* 设置线程 */ 64 void setThreadStart(bool start) { 65 startFlag = start; 66 if (start) { 67 if (!this->isRunning()) 68 this->start(); 69 } else { 70 this->quit(); 71 } 72 } 73 74 /* 设置广播 */ 75 void setBroadcast(bool start) { 76 startBroadcast = start; 77 } 78 79 /* 设置本地显示 */ 80 void setLocalDisplay(bool start) { 81 startLocalDisplay = start; 82 } 83 }; 84 85 #endif // CAPTURE_THREAD_H
分析:可以看出服务端开辟了一个线程来采集数据,这样的界面和数据逻辑就分开了,界面就不 会卡顿。
第四:视频监控之客户端实现
客户端代码量更小,只需要接收并处理图像数据即可。
1 #ifndef MAINWINDOW_H 2 #define MAINWINDOW_H 3 4 #include <QMainWindow> 5 #include <QUdpSocket> 6 #include <QLabel> 7 8 class MainWindow : public QMainWindow 9 { 10 Q_OBJECT 11 12 public: 13 MainWindow(QWidget *parent = nullptr); 14 ~MainWindow(); 15 16 private: 17 /* 用于接收数据 */ 18 QUdpSocket *udpSocket; 19 20 /* 显示接收的图像数据 */ 21 QLabel *videoLabel; 22 23 void resizeEvent(QResizeEvent *event) override; 24 25 private slots: 26 /* 图像更新 */ 27 void videoUpdate(); 28 }; 29 #endif // MAINWINDOW_H
第五:视频监控综合测试
界面使用了两个 QCheckBox,一个 QCheckBox 用于开启本地图像显示,也 就是显示摄像头捕获的内容。另一个 QCheckBox 用于开启 udp 广播,也就是将摄像头的捕获的 内容发送出去。这两个功能默认没有选上,请先点击界面底部的“开启采集摄像头数据”进行 数据采集,然后再选上需要开启的功能。
客户端则可以在另一块开发板或者 Ubuntu/Window 上运行,而且可以多个客户端同时运行 在不同的机器上。确保和服务端在同一个路由器下(同一局域网)。运行结果如下,接收到服务 端的数据,并显示图像,和服务端显示的图像同步,效果不错。
总结:本项目可以应用于如做室外监控,查看来访客人等,很类似智能楼宇里终端的查看大门来 访客人。甚至由读者结合其他例子开发相关的项目。