文章目录
I . FFMPEG AVFrame 图像数据帧处理 前置操作
II . FFMPEG 解码 AVPacket 数据到 AVFrame 流程
III. FFMPEG 解码前后的图像格式
IV . FFMPEG 获取 SwsContext
V . FFMPEG 初始化图像数据存储内存
VI . FFMPEG 初图像格式转换
VII . FFMPEG AVFrame 图像格式转换 YUV -> RGBA 代码示例
I . FFMPEG AVFrame 图像数据帧处理 前置操作
FFMPEG 解码 AVPacket 数据到 AVFrame 数据前置操作 :
① FFMPEG 初始化 : 参考博客 【Android FFMPEG 开发】FFMPEG 初始化 ( 网络初始化 | 打开音视频 | 查找音视频流 )
② FFMPEG 获取 AVStream 音视频流 : 参考博客 【Android FFMPEG 开发】FFMPEG 获取 AVStream 音视频流 ( AVFormatContext 结构体 | 获取音视频流信息 | 获取音视频流个数 | 获取音视频流 )
③ FFMPEG 获取 AVCodec 编解码器 : 参考博客 【Android FFMPEG 开发】FFMPEG 获取编解码器 ( 获取编解码参数 | 查找编解码器 | 获取编解码器上下文 | 设置上下文参数 | 打开编解码器 )
④ FFMPEG 读取音视频流中的数据到 AVPacket : 参考博客 【Android FFMPEG 开发】FFMPEG 读取音视频流中的数据到 AVPacket ( 初始化 AVPacket 数据 | 读取 AVPacket )
⑤ FFMPEG 解码 AVPacket 数据到 AVFrame : 参考博客 【Android FFMPEG 开发】FFMPEG 解码 AVPacket 数据到 AVFrame ( AVPacket->解码器 | 初始化 AVFrame | 解码为 AVFrame 数据 )
II . FFMPEG 解码 AVPacket 数据到 AVFrame 流程
FFMPEG 解码 AVPacket 数据到 AVFrame 流程 :
〇 前置操作 : FFMPEG 环境初始化 , 获取 AVStream 音视频流 , 获取 AVCodec 编解码器 , 读取音视频流中的数据到 AVPacket , 解码 AVPacket 数据到 AVFrame , 然后才能进行下面的操作 ;
① 获取 SwsContext : sws_getContext ( )
SwsContext *swsContext = sws_getContext( //源图像的 宽 , 高 , 图像像素格式 avCodecContext->width, avCodecContext->height, avCodecContext->pix_fmt, //目标图像 大小不变 , 不进行缩放操作 , 只将像素格式设置成 RGBA 格式的 avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, //使用的转换算法 , FFMPEG 提供了许多转换算法 , 有快速的 , 有高质量的 , 需要自己测试 SWS_BILINEAR, //源图像滤镜 , 这里传 NULL 即可 0, //目标图像滤镜 , 这里传 NULL 即可 0, //额外参数 , 这里传 NULL 即可 0 );
② 初始化图像数据存储空间 : av_image_alloc ( )
av_image_alloc(dst_data, dst_linesize, avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, 1);
③ 转换图像格式 : sws_scale ( )
sws_scale( //SwsContext *swsContext 转换上下文 swsContext, //要转换的数据内容 avFrame->data, //数据中每行的字节长度 avFrame->linesize, 0, avFrame->height, //转换后目标图像数据存放在这里 dst_data, //转换后的目标图像行数 dst_linesize );
III. FFMPEG 解码前后的图像格式
AVPacket 数据解码后的数据存储在 AVFrame 结构体中 , 如果是视频数据 , 那么存储的是一帧图像 , 图像的像素格式是 YUV 格式的 , 一般 Android 中绘制需要使用 ARGB 的像素格式 , 这里需要将图像的存储格式由 YUV 格式转为 ARGB 格式 ;
IV . FFMPEG 获取 SwsContext
1 . SwsContext 结构体 : 转换图像格式 , 首先要获取 SwsContext 结构体指针 , 在该 SwsContext 结构体中封装了图像转换相关的参数信息 , 如 源图像 目标图像的宽高 , 像素格式信息等 ; 调用 sws_getContext ( ) 方法可以获取 SwsContext * 结构体指针 ;
2 . SwsContext ( ) 函数原型 : 为 SwsContext 结构体分配内存 , 并返回其结构体指针 ;
① int srcW 参数 : 源图像的宽度 ;
② int srcH 参数 : 源图像的高度 ;
③ enum AVPixelFormat srcFormat 参数 : 源图像的像素格式 ;
④ int dstW 参数 : 目标图像的宽度 ;
⑤ int dstH 参数 : 目标图像的高度 ;
⑥ enum AVPixelFormat dstFormat 参数 : 目标图像的像素格式 ;
⑦ int flags 参数 : 使用的转换算法 , 可以选择高速度 , 或者高质量等参数 ;
⑧ SwsFilter *srcFilter 参数 : 源图像滤镜 ;
⑨ SwsFilter *dstFilter 参数 : 目标图像滤镜 ;
⑩ const double *param 参数 : 额外参数 ;
/** * Allocate and return an SwsContext. You need it to perform * scaling/conversion operations using sws_scale(). * * @param srcW the width of the source image * @param srcH the height of the source image * @param srcFormat the source image format * @param dstW the width of the destination image * @param dstH the height of the destination image * @param dstFormat the destination image format * @param flags specify which algorithm and options to use for rescaling * @param param extra parameters to tune the used scaler * For SWS_BICUBIC param[0] and [1] tune the shape of the basis * function, param[0] tunes f(1) and param[1] f´(1) * For SWS_GAUSS param[0] tunes the exponent and thus cutoff * frequency * For SWS_LANCZOS param[0] tunes the width of the window function * @return a pointer to an allocated context, or NULL in case of error * @note this function is to be removed after a saner alternative is * written */ struct SwsContext *sws_getContext(int srcW, int srcH, enum AVPixelFormat srcFormat, int dstW, int dstH, enum AVPixelFormat dstFormat, int flags, SwsFilter *srcFilter, SwsFilter *dstFilter, const double *param);
3 . 获取 SwsContext 代码示例 :
SwsContext *swsContext = sws_getContext( //源图像的 宽 , 高 , 图像像素格式 avCodecContext->width, avCodecContext->height, avCodecContext->pix_fmt, //目标图像 大小不变 , 不进行缩放操作 , 只将像素格式设置成 RGBA 格式的 avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, //使用的转换算法 , FFMPEG 提供了许多转换算法 , 有快速的 , 有高质量的 , 需要自己测试 SWS_BILINEAR, //源图像滤镜 , 这里传 NULL 即可 0, //目标图像滤镜 , 这里传 NULL 即可 0, //额外参数 , 这里传 NULL 即可 0 );
V . FFMPEG 初始化图像数据存储内存
1 . 图像数据保存 : 需要两个变量来进行存储 , 一个是指针 , 指向一块内存 , 该内存中存储实际的图像数据 , 一个是 int 数值 , 存储该内存中存储了多少数据 ;
① 指针 : 将图像数据保存到 uint8_t *dst_data[4] 指针数组中的指针元素指向的内存中 ;
② 行数 : int dst_linesize[4] 中存储其行数 , 代表了上面指针指向的内存每行存储了多少数据 ;
2 . 图像数据指针的操作 :
① 初始化 : 这个内存需要用专门的函数 av_image_alloc ( ) 进行初始化 ;
② 释放 : 这个指针需要使用专门的函数 void av_freep(void *ptr) 进行释放 ;
3 . av_image_alloc ( ) 函数原型 : 根据图像的宽高 , 像素格式 , 为 相应的 指向图像数据的指针 和 行数 进行初始化 ;
① uint8_t *pointers[4] 参数 : 指向图像数据的指针 , 这是四个指针 , 这里只是用了一个 , 也就是第一个 ;
② int linesizes[4] 参数 : 存储每个图像数据存储的数据行数 ;
③ int w 参数 : 图像的宽度 ;
④ int h 参数 : 图像的高度 ;
⑤ enum AVPixelFormat pix_fmt : 图像的像素格式 , ARGB 格式的 ;
⑥ int align 参数 : 设置 1 即可 ;
/** * Allocate an image with size w and h and pixel format pix_fmt, and * fill pointers and linesizes accordingly. * The allocated image buffer has to be freed by using * av_freep(&pointers[0]). * * @param align the value to use for buffer size alignment * @return the size in bytes required for the image buffer, a negative * error code in case of failure */ int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int w, int h, enum AVPixelFormat pix_fmt, int align);
4 . av_image_alloc ( ) 代码示例 :
//指针数组 , 数组中存放的是指针 uint8_t *dst_data[4]; //普通的 int 数组 int dst_linesize[4]; //初始化 dst_data 和 dst_linesize , 为其申请内存 , 注意使用完毕后需要释放内存 av_image_alloc(dst_data, dst_linesize, avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, 1);
VI . FFMPEG 初图像格式转换
1 . 准备工作完毕 : 转换使用的上下文 SwsContext , 转换后的数据存储 指针 和 行数 , 准备就绪后 , 可以开始转换 AVFrame 中的 YUV 像素格式的图像为 RGBA 像素格式 ;
2 . 转换使用方法 : 调用 sws_scale ( ) 方法 , 执行转换操作 ;
3 . sws_scale ( ) 函数原型 : 转换图像像素格式 ;
① struct SwsContext *c 参数 : 转换上下文 ;
② const uint8_t *const srcSlice[] 参数 : 源图像数据指针 ;
③ const int srcStride[] 参数 : 源图像每行有多少个数据 ;
④ int srcSliceY 参数 : 源图像数据数组处理的索引值 , 从 0 开始计数 , 一般是 0 ;
⑤ int srcSliceH 参数 : 源图像的高度 , 即有多少行数据 ;
⑥ uint8_t *const dst[] 参数 : 图像数组指针数组 ;
⑦ const int dstStride[] 参数 : 图像数据每行的数据个数 ;
/** * Scale the image slice in srcSlice and put the resulting scaled * slice in the image in dst. A slice is a sequence of consecutive * rows in an image. * * Slices have to be provided in sequential order, either in * top-bottom or bottom-top order. If slices are provided in * non-sequential order the behavior of the function is undefined. * * @param c the scaling context previously created with * sws_getContext() * @param srcSlice the array containing the pointers to the planes of * the source slice * @param srcStride the array containing the strides for each plane of * the source image * @param srcSliceY the position in the source image of the slice to * process, that is the number (counted starting from * zero) in the image of the first row of the slice * @param srcSliceH the height of the source slice, that is the number * of rows in the slice * @param dst the array containing the pointers to the planes of * the destination image * @param dstStride the array containing the strides for each plane of * the destination image * @return the height of the output slice */ int sws_scale(struct SwsContext *c, const uint8_t *const srcSlice[], const int srcStride[], int srcSliceY, int srcSliceH, uint8_t *const dst[], const int dstStride[]);
4 . sws_scale ( ) 使用示例 :
sws_scale( //SwsContext *swsContext 转换上下文 swsContext, //要转换的数据内容 avFrame->data, //数据中每行的字节长度 avFrame->linesize, 0, avFrame->height, //转换后目标图像数据存放在这里 dst_data, //转换后的目标图像行数 dst_linesize );
VII . FFMPEG AVFrame 图像格式转换 YUV -> RGBA 代码示例
//1 . 获取转换上下文 SwsContext *swsContext = sws_getContext( //源图像的 宽 , 高 , 图像像素格式 avCodecContext->width, avCodecContext->height, avCodecContext->pix_fmt, //目标图像 大小不变 , 不进行缩放操作 , 只将像素格式设置成 RGBA 格式的 avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, //使用的转换算法 , FFMPEG 提供了许多转换算法 , 有快速的 , 有高质量的 , 需要自己测试 SWS_BILINEAR, //源图像滤镜 , 这里传 NULL 即可 0, //目标图像滤镜 , 这里传 NULL 即可 0, //额外参数 , 这里传 NULL 即可 0 ); //2 . 初始化图像存储内存 //指针数组 , 数组中存放的是指针 uint8_t *dst_data[4]; //普通的 int 数组 int dst_linesize[4]; //初始化 dst_data 和 dst_linesize , 为其申请内存 , 注意使用完毕后需要释放内存 av_image_alloc(dst_data, dst_linesize, avCodecContext->width, avCodecContext->height, AV_PIX_FMT_RGBA, 1); //3 . 格式转换 sws_scale( //SwsContext *swsContext 转换上下文 swsContext, //要转换的数据内容 avFrame->data, //数据中每行的字节长度 avFrame->linesize, 0, avFrame->height, //转换后目标图像数据存放在这里 dst_data, //转换后的目标图像行数 dst_linesize );