QT界面中实现视频帧显示的多种方法及应用（二）

QT界面中实现视频帧显示的多种方法及应用（一）https://developer.aliyun.com/article/1464298

(六) 性能优化与技巧

6.1 刷新频率与同步策略的选择

当我们在实现视频帧在QT界面的显示时，一个关键的性能指标就是刷新频率。刷新频率决定了用户观看视频的流畅度，过低的刷新频率将导致视频播放卡顿，影响观看体验。本章节将从刷新频率与同步策略的选择着手，帮助读者解决这一问题。

首先，要理解刷新频率，我们需要了解计算机显示器的工作原理。显示器通常以固定时间间隔刷新屏幕上的图像，这个时间间隔称为垂直同步（VSync）周期。一个好的同步策略应该让视频帧的刷新频率与显示器的刷新频率保持一致，以获得更好的观看体验。

在QT中，有几种方法可以用来控制刷新频率：

1. 使用QTimer：QTimer是QT中常用的定时器组件。你可以创建一个QTimer实例，并在槽函数中更新视频帧。需要注意的是，你需要选择合适数值作为定时器的间隔时间，使其尽可能接近显示器的刷新频率。同时，为了避免帧速过快，可以使用QTimer的setTimerType(Qt::PreciseTimer)来设置精确的定时器类型。

QTimer* timer = new QTimer(this);
connect(timer, &QTimer::timeout, this, &VideoWidget::updateFrame);
timer->setTimerType(Qt::PreciseTimer);
timer->start(1000 / target_fps);

1. 自适应刷新频率：为了实现自适应刷新频率，我们需要计算当前帧与上一帧之间的时间间隔，并根据间隔时间调整刷新频率。这可以通过使用QElapsedTimer来实现。在每次刷新帧之前，获取QElapsedTimer的时间差，并根据差值选择合适的刷新频率。

QElapsedTimer timer;
timer.start();
while (streaming) {
    qint64 elapsed = timer.elapsed();
    timer.restart();
    // 根据elapsed调整刷新频率
}

需要注意的是，如果视频源时不稳定或帧间隔波动较大，自适应刷新频率可能导致视频播放不流畅。

1. 使用QScreen获取显示器刷新频率：为了更准确地同步显示器的刷新频率，我们可以使用QScreen类获取当前显示器的刷新频率。然后，可以将此刷新频率作为目标帧速率，用于QTimer或自适应刷新频率的计算。

QScreen* screen = QGuiApplication::primaryScreen();
if (screen) {
    qreal refreshRate = screen->refreshRate();
}

总之，通过合理选择刷新频率与同步策略，可以显著改善QT界面中视频帧显示的性能。不同项目的需求可能有所不同，因此读者需要根据实际情况权衡并选择最适合自己项目的方法。

6.2 内存管理与资源回收

在实现QT界面中视频帧显示时，内存管理和资源回收是不可忽视的重要环节。没有及时合理的内存管理和资源回收，可能导致内存泄露、程序崩溃等问题。本章节将介绍一些关于内存管理与资源回收的技巧。

1. 尽量复用内存：在处理视频帧时，我们可能会涉及到大量的内存分配与释放操作。为了减少内存分配的开销，尽量复用已分配的内存。例如，在循环中处理视频帧时，可以将创建的QImage、QPixmap等对象移到循环外部，并在每一帧处理时复用这些对象。

QImage frame(buffer_width, buffer_height, QImage::Format_RGB888);
for (int i = 0; i < frame_count; ++i) {
    // Process the current frame using the existing 'frame' QImage object
}

1. 使用智能指针管理资源：为了简化资源回收的过程，可以使用C++11中提供的智能指针类型（如std::shared_ptr或std::unique_ptr）来自动管理资源的生命周期。当智能指针离开其作用域时，指向的内存将自动被回收。

std::unique_ptr<QImage> image(new QImage(buffer_width, buffer_height, QImage::Format_RGB888));

1. 利用QT对象树进行资源回收：QT的对象模型为内存管理提供了便利。在创建QT对象时，可以将其他QT对象传递给它作为父对象。当父对象被删除时，所有子对象也会自动被删除。这样，将一组相关的QT对象连接在一个对象树中可以方便地进行资源回收。

QLabel* label = new QLabel(this);
QPixmap* pixmap = new QPixmap(buffer_width, buffer_height);
label->setPixmap(*pixmap); // 'pixmap' will be deleted automatically when 'label' is deleted

1. 谨慎使用动态内存分配：尽量减少不必要的动态内存分配操作。在某些情况下，可以使用局部变量或静态变量代替动态内存分配。但请注意，在多线程环境下使用静态变量可能导致数据竞争，需谨慎处理。

总之，内存管理和资源回收是确保QT界面中视频帧显示正常工作的关键。通过学会并运用这些技巧，可以有效地避免内存泄漏，提高程序的稳定性和性能。

6.3 并行与多线程处理的优化

在处理视频帧显示任务时，如果要追求更高的性能，使用并行计算和多线程技术进行优化是非常有效的。本章节将讨论如何利用并行计算和多线程技术优化QT界面中的视频帧显示。

1. 视频解码与显示的线程分离：为了提高性能，可以将视频解码和显示的任务分配到不同的线程中。这样，解码线程可以持续解码视频，而显示线程可以独立渲染解码后的帧。这种并行处理可以避免互相等待，提高性能。你可以使用QT自带的QThread类创建线程。

class DecoderThread : public QThread {
    // Implement decoder thread logic
};
class DisplayThread : public QThread {
    // Implement display thread logic
};
DecoderThread decoder_thread;
DisplayThread display_thread;
decoder_thread.start();
display_thread.start();

1. 利用线程池并行处理任务：在某些场景下，我们可能需要同时处理多个视频流。为了提高性能，可以使用线程池来并行处理这些任务。QT提供了用于管理线程池的QThreadPool类，你可以将解析任务封装在一个继承自QRunnable的类中，并将任务添加到线程池。

class VideoTask : public QRunnable {
    void run() override {
        // Implement video processing logic
    }
};
QThreadPool thread_pool;
VideoTask video_task_1;
VideoTask video_task_2;
thread_pool.start(&video_task_1);
thread_pool.start(&video_task_2);

1. 多线程渲染策略：在高刷新率或高分辨率视频中，渲染过程可能需要较长时间。为了提高渲染性能，可以考虑将渲染工作分配到多个线程中。例如，在实现自定义绘制时，可以使用QtConcurrent::run()函数运行多线程并发绘制。

void paintEvent(QPaintEvent* event) {
    QtConcurrent::run(this, &VideoWidget::renderFrame);
}
void renderFrame() {
    QPainter painter(this);
    painter.drawImage(0, 0, your_qimage);
}

然而，需要注意，多线程渲染可能会带来额外的同步与资源竞争问题，因此在实践中需谨慎处理。

通过有效地利用并行计算和多线程技术，可以显著提高QT界面中视频帧显示的性能。但链接到实际应用时，实际适用性与效果需要根据具体情况权衡，选择适合自身场景的并行与多线程策略。

(七) 与其他QT组件和库的集成

7.1 与QT多媒体模块(QMultimedia)的集成

在很多情况下，我们不仅需要处理单独的视频帧，还需要处理复杂的多媒体内容。在这种情况下，QT提供了一个强大的多媒体模块QMultimedia，用于处理音频、视频和图像等多媒体资源。通过结合前面介绍的视频帧显示方法和QMultimedia模块，我们可以实现更强大的多媒体应用。

首先，我们需要导入QMultimedia模块以使用其提供的功能。在.pro文件中添加以下内容：

QT += multimedia

接下来，我们创建一个QMediaPlayer对象来播放视频。QMediaPlayer类提供了用于加载和控制音频或视频内容的功能：

#include <QMediaPlayer>
QMediaPlayer* player = new QMediaPlayer;
player->setMedia(QUrl::fromLocalFile("path/to/your/video/file"));
player->play();

现在，我们已经创建了一个播放器对象并开始播放视频。接下来，我们需要将播放器的视频输出连接到我们之前介绍的视频帧显示方法。这里，我们将展示如何将视频输出连接到一个自定义的QAbstractVideoSurface实现：

首先，从QMediaPlayer获取一个QVideoWidget对象，然后将其设置为QMediaPlayer的视频输出：

#include <QVideoWidget>
QVideoWidget* videoWidget = new QVideoWidget;
player->setVideoOutput(videoWidget);

创建一个继承自QAbstractVideoSurface的自定义类，并实现start(), stop()和present()等方法，以便我们可以在播放过程中捕获每一帧：

#include <QAbstractVideoSurface>
class CustomVideoSurface : public QAbstractVideoSurface {
    Q_OBJECT
public:
    CustomVideoSurface(QObject* parent = nullptr);
    ~CustomVideoSurface();
    QList<QVideoFrame::PixelFormat> supportedPixelFormats(
        QAbstractVideoBuffer::HandleType handleType) const override;
    bool start(const QVideoSurfaceFormat& format) override;
    void stop() override;
    bool present(const QVideoFrame& frame) override;
};

在start()方法中，我们可以获得视频格式的详细信息，例如分辨率和像素格式等。stop()方法用于在播放停止时进行清理。最重要的present()方法为每一帧调用，我们可以在此拿到QVideoFrame对象。

实现CustomVideoSurface类后，我们将其连接到QMediaPlayer的视频输出：

CustomVideoSurface* videoSurface = new CustomVideoSurface;
player->setVideoOutput(videoSurface);

现在，CustomVideoSurface类将能够捕获视频的每一帧，并可以自由处理与显示。这样，我们就成功地将QT中的视频帧显示方法与QMultimedia模块集成在一起。

7.2 与OpenGL进行高效渲染

OpenGL是一个跨编程语言、跨平台的编程接口，用于处理2D和3D图形输出。在很多场合，我们需要使用OpenGL进行高效的视频帧处理和渲染。结合QT的视频帧显示方法与OpenGL，我们能够实现更加高性能的视频应用。

首先，确保安装了支持OpenGL的QT库。然后，在项目文件.pro中添加以下内容：

QT += opengl

接下来，我们创建一个继承自QOpenGLWidget的自定义类，作为主要的OpenGL渲染窗口。我们可以重写initializeGL()、resizeGL()和paintGL()方法，以便在初始化、窗口大小调整和渲染过程中进行处理：

#include <QOpenGLWidget>
class VideoGLWidget : public QOpenGLWidget {
    Q_OBJECT
public:
    VideoGLWidget(QWidget* parent = nullptr);
    ~VideoGLWidget();
protected:
    void initializeGL() override;
    void resizeGL(int width, int height) override;
    void paintGL() override;
};

在initializeGL()方法中，我们可以执行OpenGL环境的初始化操作，例如设置着色器或加载纹理。resizeGL()方法用于处理窗口大小调整，以便我们可以正确地缩放视频帧。 最后，我们在paintGL()方法中处理视频帧的纹理操作，并通过OpenGL进行绘制。

为了传递视频帧到我们的VideoGLWidget类，我们需要将显示方法与前面介绍的视频帧处理方法相结合。例如，假设我们已经实现了一个CustomVideoSurface类，通过重写其present()方法获取视频帧。我们可以将获取到的QVideoFrame对象传递给VideoGLWidget类，并在paintGL()方法中绘制纹理。

class VideoGLWidget : public QOpenGLWidget {
    // 省略其他部分
public slots:
    void updateVideoFrame(const QVideoFrame& frame);
protected:
    void paintGL() override;
private:
    QVideoFrame currentVideoFrame;
};

在updateVideoFrame()槽中，我们将获得的视频帧传递给OpenGL窗口，并在paintGL()方法中绘制纹理。注意，为了正确绘制QVideoFrame，我们需要将其数据上传到一个纹理中（例如使用glTexImage2D()或glTexSubImage2D()函数）。

通过集成OpenGL，我们可以实现高效的实时渲染，并利用GPU的性能处理复杂的视频操作。这为开发高性能的跨平台视频应用奠定了基础。

7.3 与QML的混合实现与优缺点比较

QML是一种描述性的用户界面语言，它使用了基于JavaScript的脚本语言。QML可以方便地创建动态、流畅且数据驱动的用户界面。在QT项目中，可以同时使用QML和C++实现功能，将两者的优势结合在一起。本节将探讨将视频帧显示方法与QML结合的方法，以及相应的优缺点。

首先，在项目文件.pro中添加QML模块并引入相关头文件：

QT += qml

接着，在QML中创建一个自定义的VideoOutput元素，用于显示视频帧：

import QtQuick 2.0
Rectangle {
    id: videoOutput
    width: 640
    height: 480
    // 填充背景
    color: "black"
}

然后，我们创建一个C++类，该类将扩展QQuickItem来处理视频帧数据：

#include <QQuickItem>
class VideoOutputItem : public QQuickItem {
    Q_OBJECT
public:
    VideoOutputItem(QQuickItem* parent = nullptr);
    ~VideoOutputItem();
public slots:
    void updateVideoFrame(const QVideoFrame& frame);
};

实现updateVideoFrame()槽，接收外部传入的视频帧。在这个方法中，我们需要将QVideoFrame转换为QImage数据，并使用QQuickItem的update()方法来请求更新。

接下来，重写VideoOutputItem的updatePaintNode()方法：

QSGNode* updatePaintNode(QSGNode* oldNode, UpdatePaintNodeData* data) override;

在updatePaintNode()方法中，我们将QImage数据分配给一个QSGSimpleTextureNode或自定义的QSGNode，并将渲染结果呈现到QML场景中。

通过这种方法，我们可以实现QML与C++混合的视频帧显示方法。其中各自的主要优缺点如下：

• QML优点：

• 声明式编程，便于创建动态、流畅的用户界面
• 支持GPU渲染，提高性能
• 可与QT Quick Components集成，简化UI构建过程

• QML缺点：

• 性能可能不如纯C++实现高
• 对于底层功能的控制能力可能较弱
• QML与C++之间的数据交互可能稍显复杂

• C++优点：

• 更大的底层控制能力
• 更高的性能，尤其是在执行底层操作时
• 与其他C++库和API的集成更容易

• C++缺点：

• UI编程可能更加复杂
• 不如QML方便创建动态、流畅的用户界面

结合QML与C++的实现方法，我们可以充分发挥两者的优势，创造出更加强大且易于维护的视频帧显示应用。

QT界面中实现视频帧显示的多种方法及应用（三）https://developer.aliyun.com/article/1464301