背景
业务需求需要将某些解码后的视频帧保存为图片，大部分情况下图片都是正常的，更换了某些视频流后，在保存的图片顶部就会出现一条绿线，现记录下解决过程。
部分代码如下
解码回调如下，完整代码可参考之前的文章Gstreamer 硬解码Rtsp流及代码实现：
最终排查结果是：
有些相机本身推的视频帧的大小与gstreame解码出来的 width 和 height不匹配导致的。如：gstreamer实际解出来的width = 1920, height = 1080, 但实际上一帧的数据是：1920 * 1088，多出来了8个字节。如果用获取到的width 和 height去计算拷贝帧的大小，在相机推送不标准的情况下就会出现该问题。
采用opencv保存图片，先将YUV转成NV12，再调用cv::imwrite() 。以19201080为例：
修复前,使用 解码得到的width 和 height计算帧大小：预期帧大小为：19201080*3 / 2 = 3,110,400
{ ...... cv::Mat img; // 创建并初始化原始YUV Mat对象 yuvNV12.create(height * 3 / 2, width, CV_8UC1); memcpy(yuvNV12.data, map.data, width * height * 3 / 2); // yuv to img Mat cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12); ...... }
实际帧大小 map.size = 3,133,440：
{ ...... cv::Mat img; // 创建并初始化原始YUV Mat对象 yuvNV12.create((map.size / width), width, CV_8UC1); memcpy(yuvNV12.data, map.data, map.size); // yuv to img Mat cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12); }
GstFlowReturn ReadvideoFrame_callback(GstElement *sink, gpointer user_data) { CustomData *data = (CustomData *)user_data; char video_format[32] = {0}; int framerate[2] = {0}; unsigned long long ts = 0; GstSample *sample; GstBuffer *buffer; GstCaps *caps; GstStructure *s; gint width, height; // 图片的尺寸 // 使用pull-sample拉取视频帧，并映射到map变量，通过map拷贝出frame数据 g_signal_emit_by_name(sink, "pull-sample", &sample); // g_print("new_sample succeeded (type '%d').\n", sample); if (sample) { caps = gst_sample_get_caps(sample); if (!caps) { g_print("gst_sample_get_caps fail\n"); gst_sample_unref(sample); return GST_FLOW_ERROR; } s = gst_caps_get_structure(caps, 0); gboolean res; res = gst_structure_get_int(s, "width", &width); // 获取图片的宽 // g_print("width: %d, ", width); res |= gst_structure_get_int(s, "height", &height); // 获取图片的高 // g_print("height: %d \n", height); if (!res) { g_print("gst_structure_get_int fail\n"); gst_sample_unref(sample); return GST_FLOW_ERROR; } const char *format = gst_structure_get_string(s, "format"); strcpy(video_format, format); gst_structure_get_fraction(s, "framerate", &framerate[0], &framerate[1]); // 获取视频的一帧buffer,注意，这个buffer是无法直接用的，它不是char类型 buffer = gst_sample_get_buffer(sample); if (!buffer) { g_print("gst_sample_get_buffer fail\n"); gst_sample_unref(sample); return GST_FLOW_ERROR; } GstMapInfo map; // 把buffer映射到map，这样我们就可以通过map.data取到buffer的数据 auto rett = gst_buffer_map(buffer, &map, GST_MAP_READ); if (rett) { cv::Mat yuvNV12; cv::Mat img; // 创建并初始化原始YUV Mat对象 // 有问题代码如下： // yuvNV12.create(height * 3 / 2, width, CV_8UC1); // memcpy(yuvNV12.data, map.data, width * height * 3 / 2); //修复如下： yuvNV12.create((map.size / width), width, CV_8UC1); memcpy(yuvNV12.data, map.data, map.size); // yuv to img Mat cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12); gst_buffer_unmap(buffer, &map); // 解除映射 } else { g_print("gst_buffer_map failed!, %d\n", rett); } // release sample reference gst_sample_unref(sample); } else { g_print("sample is null...\n"); } return GST_FLOW_OK; }
