项目源码
FFmpeg开发文档
解码分为软解码和硬解码，那么什么是软解码和硬解码，二者有什么区别？简单来说，在于是否使用CPU进行解码，最初视频解码都是通过CPU进行的，那时候视频分辨率较低，CPU完全可以胜任解码的工作，但是随着高清视频的出现，使用CPU进行解码的压力越来越大
软解码
使用CPU进行解码，所以就很容易造成CPU负载过大。纯粹依靠CPU来解码，是在显卡本身不支持或者部分不支持硬件解码的前提下，将解压高清编码的任务交给CPU，这是基于硬件配置本身达不到硬解压要求的前提下的无奈之举。我们在解码过程中，应该在硬件支持的前提下优先使用硬解码。
对于一个超级电视而言，观看高清电影无疑是用户最大的诉求，而硬解码的优势就在于可以流畅的支持1080p甚至4K清晰度的电影播放，而不需要占用CPU，CPU就可以如释重负，轻松上阵，承担更多的其他任务。如果通过软解码的方式播放高清电影，CPU的负担较重，往往会出现卡顿、不流畅的现象。
硬解码
硬件解码就是通过显卡的视频加速功能对高清视频进行解码,使用非CPU进行，如GPU/VPU（GPU:图形处理器：Graphics Processing Unit，指计算机的显卡，VPU:Visual Processing Unit，视觉处理单元,由ATI提出的、用于区别于传统GPU的概念，实际二者均为显示处理核心，本质上并无任何区别）、专用的DSP、FPGA、ASIC芯片等，所以几乎不会占用CPU，部分产品在GPU硬件平台移植了优秀的软编码算法（如X264），解码质量基本等同于软编码。硬解码可以将CPU从繁重的视频解码中解放出来，使播放设备具备流畅播放高清视频的能力。显卡的GPU/VPU要比CPU更适合这类大数据量的、低难度的重复工作。
那么ffmpeg是如何进行软解码和硬解码的，分别来看
解码步骤
使用ffmpeg解码分为如下几步：
1.找到解码器
avcodec_find_decoder（软） avcodec_find_decoder_by_name（硬）
2.获取解码器上下文
avcodec_alloc_context3
3.填充解码器参数到上下文中
avcodec_parameters_to_context
4.打开解码器
avcodec_open2
5.将解封装得到的AVPacket发送到解码器中进行解码
avcodec_send_packet
6.从解码器中接收已经解码完成的数据存入AVFrame
avcodec_receive_frame
7.释放frame空间
av_frame_unref
具体到代码中看一看音视频的软解码和硬解码
视频软解码环境
/***************************************video解码器*********************************************/
//找到视频解码器(软解码)
AVCodec *videoAVCodec = avcodec_find_decoder(avFormatContext->streams[videoIndex]->codecpar->codec_id);
avcodec_open2 video failed!
if (videoAVCodec == NULL){
LOGE("avcodec_find_decoder failed !");
return;
}
//初始化视频解码器上下文对象
AVCodecContext *videoCodecContext = avcodec_alloc_context3(videoAVCodec);
//根据所提供的编解码器的值填充编解码器上下文参数
avcodec_parameters_to_context(videoCodecContext,avFormatContext->streams[videoIndex]->codecpar);
//设置视频解码器解码的线程数，解码时将会以你设定的线程进行解码
videoCodecContext->thread_count = 8;
//打开解码器
result = avcodec_open2(videoCodecContext,NULL,NULL);
if (result != 0){
LOGE("avcodec_open2 video failed! %s",av_err2str(result));
return;
}
/***********************************************************************************************/
视频硬解码环境
//硬解码，硬解码需要Jni_OnLoad中做设置否则ffmpeg_player_error: avcodec_open2 video failed!
AVCodec *videoAVCodec = avcodec_find_decoder_by_name("h264_mediacodec");
if (videoAVCodec == NULL){
LOGE("avcodec_find_decoder failed !");
return;
}
//初始化视频解码器上下文对象
AVCodecContext *videoCodecContext = avcodec_alloc_context3(videoAVCodec);
//根据所提供的编解码器的值填充编解码器上下文参数
avcodec_parameters_to_context(videoCodecContext,avFormatContext->streams[videoIndex]->codecpar);
//设置视频解码器解码的线程数，解码时将会以你设定的线程进行解码
videoCodecContext->thread_count = 8;
//打开解码器
result = avcodec_open2(videoCodecContext,NULL,NULL);
if (result != 0){
LOGE("avcodec_open2 video failed! %s",av_err2str(result));
return;
}
可以看到软硬解码的区别也只是在于获取解码器的那一步操作
音频软解码环境
/***************************************audio解码器*********************************************/
//找到音频解码器(软解码)
AVCodec *audioAVCodec = avcodec_find_decoder(avFormatContext->streams[audioIndex]->codecpar->codec_id);
//初始化音频解码器上下文对象
AVCodecContext *audioCodecContext = avcodec_alloc_context3(audioAVCodec);
//根据所提供的编解码器的值填充编解码器上下文参数
avcodec_parameters_to_context(audioCodecContext,avFormatContext->streams[audioIndex]->codecpar);
//设置音频解码器解码的线程数，解码时将会以你设定的线程进行解码
audioCodecContext->thread_count = 1;
//打开音频解码器
result = avcodec_open2(audioCodecContext,NULL,NULL);
if (result != 0){
LOGE("avcodec_open2 audio failed!");
return;
}
/***********************************************************************************************/
音频硬解码环境
/***************************************audio解码器*********************************************/
//找到音频解码器(软解码)
//硬解码
AVCodec *audioAVCodec = avcodec_find_decoder_by_name("h264_mediacodec");
//初始化音频解码器上下文对象
AVCodecContext *audioCodecContext = avcodec_alloc_context3(audioAVCodec);
//根据所提供的编解码器的值填充编解码器上下文参数
avcodec_parameters_to_context(audioCodecContext,avFormatContext->streams[audioIndex]->codecpar);
//设置音频解码器解码的线程数，解码时将会以你设定的线程进行解码
audioCodecContext->thread_count = 1;
//打开音频解码器
result = avcodec_open2(audioCodecContext,NULL,NULL);
if (result != 0){
LOGE("avcodec_open2 audio failed!");
return;
}
/***********************************************************************************************/
同样也是区别在于解码器的获取
获取到解码器之后解码的过程代码如下：
for (;;) {
//********************测试每秒解码帧数代码*******************
if(GetNowMs() - start >=3000){
LOGI("now decode fps is %d",frameCount/3);
start = GetNowMs();
frameCount = 0;
}
//********************测试每秒解码帧数代码*******************
//Return the next frame of a stream.
int read_result = av_read_frame(avFormatContext,avPacket);
if(read_result != 0){
//读取到结尾处,从20秒位置继续开始播放
LOGI("读取到结尾处 %s",av_err2str(read_result));
//跳转到指定的position播放，最后一个参数表示
//int pos = 200000 * r2d(avFormatContext->streams[videoIndex]->time_base);
//av_seek_frame(avFormatContext,videoIndex,pos,AVSEEK_FLAG_BACKWARD|AVSEEK_FLAG_FRAME );
//LOGI("avFormatContext->streams[videoIndex]->time_base= %d",avFormatContext->streams[videoIndex]->time_base);
//continue;
break;
}
LOGW("stream = %d size =%d pts=%lld flag=%d pos = %d",
avPacket->stream_index,avPacket->size,avPacket->pts,avPacket->flags,avPacket->pos
);
//解码测试
if(avPacket->stream_index != videoIndex){
continue;
}
AVCodecContext *codecContext = videoCodecContext;
if (avPacket->stream_index == audioIndex){
codecContext = audioCodecContext;
}
//将packet发送到解码器中进行解码
read_result = avcodec_send_packet(videoCodecContext,avPacket);
if (read_result != 0){
LOGE("avcodec_send_packet failed!");
continue;
}
for(;;){
//从解码器中返回的已经解码的数据
read_result = avcodec_receive_frame(codecContext,avFrame);
if(read_result != 0){
LOGE("avcodec_receive_frame failed!");
break;
}
//********************测试每秒解码帧数代码*******************
//说明解码的是视频，
if(codecContext == videoCodecContext) {
frameCount++;
}
//********************测试每秒解码帧数代码*******************
LOGW("avcodec_receive_frame %lld",avFrame->pts);
}
//packet使用完成之后执行，否则内存会急剧增长
//不再引用这个packet指向的空间，并且将packet置为default状态
av_packet_unref(avPacket);
}
软硬解码已经多线程解码效率测试结果
neon 单线程下解码视频结果:
每秒帧数27~68
CPU占用16%左右
内存占用67M左右
neon 八线程下解码视频结果
每秒解码帧数100~170帧
CPU占用70%左右
内存占用90M左右
neon h264_mediacodec硬解码 设置单线程
每秒解码帧数46~58，硬解码是一个固定值，这是由于计算误差产生的
CPU占用3%左右
内存占用23M左右
neon h264_mediacodec硬解码 设置8线程
每秒解码帧数46~85，线程数对帧率无影响，因为硬解码帧率是固定的
CPU和内存的占用可忽略不计
总结一下
1.软解码相较于硬解码，对内存和CPU的开销都明显很大
2.硬解码的解码帧率是固定的，但是几乎不占用CPU
