Hi3516开发笔记(十):Qt从VPSS中获取通道图像数据存储为jpg文件

简介: 上一篇已经将himpp套入qt的基础上进行开发。那么qt中拿到frame则是很关键的交互,这是qt与海思可能编解码交叉开发的关键步骤。

前言

  上一篇已经将himpp套入qt的基础上进行开发。那么qt中拿到frame则是很关键的交互,这是qt与海思可能编解码交叉开发的关键步骤。


受限制

  因为直接配置sample的vi比较麻烦,确实是困难的,其实就是配置驱动,所以我们只能从开发板的demo入手,去在相等条件下探测可能的留,从vpss中拿取后,进行软编码。

  当然,如果不用qt还有一种方式,也就是大量开发海思人员使用的方式,是基于sample写一个编码程序,然后使用本地socket交互,其实绝大部分海思开发者都是这样开发的,但是他们不涉及与qt的深入交互。


前提条件

  需要移植ffmpeg到海思平台,可参考博文《FFmpeg开发笔记(十):ffmpeg在ubuntu上的交叉编译移植到海思HI35xx平台》。


Demo演示

  从vpss中获取一帧图像,如下图:

  

  


相关的API

  (原本整理了一大半自己的习惯格式,后续海思看多了,觉得海思文档也还行,就是争对性的开发,无用信息有点多,所以此处还是用海思的文档,但是只提取涉及的部分,海思文档是个庞大的体系,需要动手,光看是很难理解的)。

HI_MPI_VPSS_GetChnFrame:从通道获取一帧处理完的数据

  用户从通道获取一帧处理完成的图像,必须与HI_MPI_VPSS_ReleaseChnFrame()配对使用。

函数原型

HI_S32 HI_MPI_VPSS_GetChnFrame(VPSS_GRP VpssGrp,
                               VPSS_CHN VpssChn,
                               VIDEO_FRAME_INFO_S *pstVideoFrame,
                               HI_S32 s32MilliSec);
  • 参数一:VpssGrou,通道组号,海思芯片通道号,
    取值[0, VPSS_MAX_GRP_NUM];
  • 参数二:VpssChn,通道号,通道组下的通道号,
    取值[0, VPSS_MAX_CHN_NUM];
  • 参数三:pstVideoFrame,帧数据的结构体,要取的数据就在这个帧里面,这
    是很关键的结构体,稍后是会深入讲解的重点;
  • 参数四:s32MilliSec,阻塞时间,跟其他阻塞有点区别,-1为阻塞,0为直
    接获取,其他整数位等待的超时时间。

返回值

  

其他注意

  

HI_MPI_VPSS_ReleaseChnFrame:释放一帧图像

  释放之前通过HI_MPI_VPSS_GetChnFrame获取获取的图像。

函数原型

HI_S32 HI_MPI_VPSS_ReleaseChnFrame (VPSS_GRP VpssGrp,
                                    VPSS_CHN VpssChn,
                                    const VIDEO_FRAME_INFO_S *pstVideoFrame);
  • 参数一:VpssGrou,通道组号,海思芯片通道号,
    取值[0, VPSS_MAX_GRP_NUM],之前获取使用的是哪个就哪个;
  • 参数二:VpssChn,通道号,通道组下的通道号,
    取值[0, VPSS_MAX_CHN_NUM];之前获取使用的是哪个就哪个;
  • 参数三:pstVideoFrame,帧数据的结构体,要取的数据就在这个帧里面,这
    是很关键的结构体,稍后是会深入讲解的重点;

返回值

  

其他注意

  


相关的结构体

VIDEO_FRAME_INFO_S:定义视频图像帧信息结构体

结构体原型

typedef struct hiVIDEO_FRAME_INFO_S
{
    VIDEO_FRAME_S stVFrame;   // 视频图像帧
    HI_U32 u32PoolId;     // 视频缓存池ID
    MOD_ID_E enModId;     // 当前帧数据是由哪一个硬件逻辑模块写出的
} VIDEO_FRAME_INFO_S;

VIDEO_FRAME_S:定义视频原始图像帧结构体

结构体原型

typedef struct hiVIDEO_FRAME_S
{
    HI_U32 u32Width;          // 图像宽度
    HI_U32 u32Height;         // 图像高度
    VIDEO_FIELD_E enField;        // 帧场模式
    PIXEL_FORMAT_E enPixelFormat;   // 视频图像像素格式
    VIDEO_FORMAT_E enVideoFormat;   // 视频图像格式
    COMPRESS_MODE_E enCompressMode;   // 视频压缩模式
    DYNAMIC_RANGE_E enDynamicRange;   // 动态范围
    COLOR_GAMUT_E enColorGamut;     // 色域范围
    HI_U32 u32HeaderStride[3];      // 图像压缩头跨距
    HI_U32 u32Stride[3];        // 图像数据跨距
    HI_U32 u32ExtStride[3];       // 10bit数据位宽的图像,部分格式分开存
    HI_U64 u64HeaderPhyAddr[3];     // 压缩头物理地址
    HI_U64 u64HeaderVirAddr[3];     // 压缩头虚拟地址,内核态虚拟地址
    HI_U64 u64PhyAddr[3];       // 图像数据物理地址
    HI_U64 u64VirAddr[3];       // 图像数据虚拟地址,内核态虚拟地址
    HI_U64 u64ExtPhyAddr[3];      // 10bit数据位宽度的图像,部分格式分开存
    HI_U64 u64ExtVirAddr[3];      // 10bit数据位宽度的图像,部分格式分开存
   HI_S16 s16OffsetTop;         // 图像顶部剪裁宽度
    HI_S16 s16OffsetBottom;       // 图像底部剪裁宽度
    HI_S16 s16OffsetLeft;       // 图像左侧剪裁宽度
    HI_S16 s16OffsetRight;        // 图像右侧剪裁宽度
    HI_U32 u32MaxLuminance;       // 显示图像的最大亮度
    HI_U32 u32MinLuminance;       // 显示图像的最小亮度
    HI_U32 u32TimeRef;          // 图像帧序列号
    HI_U64 u64PTS;            // 图像时间戳
    HI_U64 u64PrivateData;        // 私有数据
   HI_U32 u32FrameFlag;         // 当前帧的标记,使用FRAME_FLAG_E标记
    VIDEO_SUPPLEMENT_S stSupplement;  // 图像的补充信息
} VIDEO_FRAME_S;

其他注意

  


相关枚举

VIDEO_FIELD_E:帧场模式

  

PIXEL_FORMAT_E:视频图像像素格式

  

  

VIDEO_FORMAT_E:视频图像格式

  

COMPRESS_MODE_E:视频压缩模式

  

DYNAMIC_RANGE_E:动态范围

  

COLOR_GAMUT_E:色域范围

  

VIDEO_SUPPLEMENT_S:图像的补充信息

  


Demo

void HiMppManager::testGetVPssFrame()
{
    VIDEO_FRAME_INFO_S videoFrameInfoS;
#if 0
    // 搜索开开发板用了哪个通道(应该只有2个摄像头,绑定了vpss)
    // 结果:探测到开发板在snap抓图模式下在通道组0通道0下有图片
    for(int groupIndex = 0; groupIndex < VPSS_MAX_GRP_NUM; groupIndex++)
    {
        for(int channelIndex = 0; channelIndex < VPSS_MAX_CHN_NUM; channelIndex++)
        {
            HI_S32 s32MilliSec = 100;
            HI_S32 ret = HI_MPI_VPSS_GetChnFrame(groupIndex, channelIndex, &videoFrameInfoS, s32MilliSec);
            if(ret == 0)
            {
                LOG << QString("Succeed to get HI_MPI_VPSS_GetChnFrame(%1, %2, &videoFrameInfoS, %3)")
                       .arg(groupIndex)
                       .arg(channelIndex)
                       .arg(s32MilliSec);
                break;
#if 0
            }else{
                LOG <<  QString("Failed to get HI_MPI_VPSS_GetChnFrame(%1, %2, &videoFrameInfoS, %3): %4")
                        .arg(groupIndex)
                        .arg(channelIndex)
                        .arg(s32MilliSec)
                        .arg(ret);
#endif
            }
        }
    }
#endif
    while(HI_MPI_VPSS_GetChnFrame(0, 0, &videoFrameInfoS, -1) == 0)
    {
        LOG << "get frame";
        LOG << videoFrameInfoS.stVFrame.enPixelFormat
            << "PIXEL_FORMAT_YVU_PLANAR_420:" << (int)PIXEL_FORMAT_YVU_PLANAR_420
            << "PIXEL_FORMAT_YVU_SEMIPLANAR_420:" << (int)PIXEL_FORMAT_YVU_SEMIPLANAR_420;
        LOG << videoFrameInfoS.stVFrame.enVideoFormat;
        HI_MPI_VPSS_ReleaseChnFrame(0, 0, &videoFrameInfoS);
        LOG << "release frame";    }
}


入坑

入坑一:获取vpss图像一定帧数后无法再获取

问题

  使用海思sdk获取图像后,多次获取后,大概20次左右就获取失败了。

原因

  海思获取图像后,需要释放,是占用了缓存区。

  海思的HI_MPI_VPSS_GetChanFrameHi_MPI_VPSS_ReleaseChnFrame要成对使用。

解决方法

  

相关文章
|
3天前
qt 开发 “控件之家“
qt 开发 “控件之家“
12 2
|
24天前
|
JSON JavaScript 前端开发
C++ Qt开发:运用QJSON模块解析数据
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍如何运用`QJson`组件的实现对JSON文本的灵活解析功能。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,它易于人阅读和编写,也易于机器解析和生成。该格式是基于JavaScript语言的一个子集,但它是一种独立于语言的数据格式,因此可以在许多不同的编程语言中使用。
C++ Qt开发:运用QJSON模块解析数据
|
1月前
|
SQL 数据库 C++
C++ Qt开发:Charts与数据库组件联动
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`Charts`组件与`QSql`数据库组件的常用方法及灵活运用。在之前的文章中详细介绍了关于`QCharts`绘图组件的使用方式,本章将继续延续这个知识点,通过使用`QSql`数据库模块动态的读取某一个时间节点上的数据,当用户点击查询数据时则动态的输出该事件节点的所有数据,并将数据绘制到图形组件内,实现动态查询图形的功能。
C++ Qt开发:Charts与数据库组件联动
|
2月前
|
存储 前端开发 数据库连接
C++ Qt开发:SqlRelationalTable关联表组件
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`SqlRelationalTable`关联表组件的常用方法及灵活运用。在上一篇文章中详细介绍了`SqlTableModle`组件是如何使用的,本篇文章将介绍`SqlRelationalTable`关联表组件,该该组件其实是`SqlTableModle`组件的扩展类,其提供了一个带关系的数据模型,用于处理数据库中的表与表之间的关系。通过这个类,你可以在一个表中使用外键关联到另一个表的数据上。例如将主表中的某
C++ Qt开发:SqlRelationalTable关联表组件
|
2月前
|
SQL 数据库 C++
C++ Qt开发:SqlTableModel映射组件应用
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`SqlTableModule`组件的常用方法及灵活运用。 在多数情况下我们需要使用SQL的方法来维护数据库,但此方式相对较为繁琐对于表格等数据的编辑非常不友好,在`Qt`中提供了`QSqlTableModel`模型类,它为开发者提供了一种直观的方式来与数据库表格进行交互。通过使用该组件可以将数据库与特定的组件进行关联,一旦关联被建立那么用户的所有操作均可以使用函数的方式而无需使用`SQL`语句,该特性有点类
|
2月前
|
存储 C++ 索引
C++ Qt开发:TableView与TreeView组件联动
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`TableView`与`TreeView`组件联动的常用方法及灵活运用。 本章我们继续实现表格的联动效果,当读者点击`TableView`或`TreeView`中的某一行时,我们让其实现自动跟随功能,且当用户修改行中特定数据时也让其动态的跟随改变,首先绘制一个主界面如图,分别放置两个组件框,底部保留两个按钮,按钮1用于该表表格的行列个数,按钮2则用于设置`TableView`表格表头参数,整个表格我们将其设
C++ Qt开发:TableView与TreeView组件联动
|
2月前
|
存储 SQL 数据库
C++ Qt开发:数据库与TableView多组件联动
在Qt中,通常我们不会在`TableView`等组件中保存数据,一般会将这些数据存储至数据库或者是文件中保存,当使用时则动态的在数据库中调出来,以下案例将实现,当用户点击并选中`TableView`组件内的某一行时,我们通过该行中的`name`字段查询,并将查询结果关联到`ListView`组件内,同时将`TableView`中选中行的字段分别显示在窗体底部的`LineEdit`编辑框内。Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`TableView`
C++ Qt开发:数据库与TableView多组件联动
|
2月前
|
SQL 数据库连接 数据库
C++ Qt开发:QSqlDatabase数据库组件
Qt SQL模块是Qt框架的一部分,它提供了一组类和函数,用于在Qt应用程序中进行数据库操作。这个模块的目标是简化数据库访问和操作,并提供一致的接口,使得开发者可以方便地与不同数据库系统进行交互。一般SQL组件常用的操作,包括读取数据、插入数据、更新数据、删除数据功能,这四个功能我将分别介绍它是如何使用的。Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`QSqlDatabase`数据库模块的常用方法及灵活运用。
C++ Qt开发:QSqlDatabase数据库组件
|
2月前
|
数据可视化 数据挖掘 API
C++ Qt开发:Charts绘制各类图表详解
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`TreeWidget`与`QCharts`的常用方法及灵活运用。在之前的文章中笔者介绍了如何使用`QCharts`模块来绘制简单的折线图并对通用API接口进行了概括,本章我们通过在`TreeWidget`组件中提取数据,并依次实现柱状图、饼状图、堆叠图、百分比图、散点图等。
C++ Qt开发:Charts绘制各类图表详解
|
2月前
|
数据可视化 C++ 索引
C++ Qt开发:Charts折线图绘制详解
Qt 是一个跨平台C++图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍`QCharts`折线图的常用方法及灵活运用。 折线图(Line Chart)是一种常用的数据可视化图表,用于展示随着时间、类别或其他有序变量而变化的趋势。折线图通过将数据点连接起来形成折线,直观地展示了变量之间的趋势和关系。
C++ Qt开发:Charts折线图绘制详解

相关产品

  • 云迁移中心
  • 推荐镜像

    更多