AI 助理
备案控制台
开发者社区 人工智能 文章 正文

10.Eclipse下Ndk开发（ffmpeg解码）

2018-03-16 1095
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： （创建于2018/1/7）ffmpeg库简介：4113515.png解码流程图：4062671.png解码过程涉及到的函数4191421.

（创建于2018/1/7）

ffmpeg库简介：


img_f7e51d95ae2ca979f276685e8785fa6b.png
4113515.png

解码流程图：
img_a461931972f2fd87ae1fd07d8bf42ae1.png
4062671.png

解码过程涉及到的函数
img_d5c62fa6d092c9dc01982fac5900a0f3.png
4191421.png

1.打开我们编译好的ffmpeg，将得到的头文件c文件以及so文件拷贝到项目jni目录下，创建Android.mk文件和Application.mk文件，创建

native方法，使用Javah命令得到头文件拷贝进入jni目录下
img_9185b1965a0ab64a9704050c22a884f8.png
36968046.png

[FFmpegUtils.java](file://C:\gaoyuan\code\workspace-android\ndk_ffmpeg\src\com\rzm\ndk_ffmpeg\FFmpegUtils.java)

package com.rzm.ndk_ffmpeg;

public class FFmpegUtils {
    
    //注意加载的顺序，这些so文件是有相互依赖的关系的
    static {
        System.loadLibrary("avutil-54");
        System.loadLibrary("swresample-1");
        System.loadLibrary("avcodec-56");
        System.loadLibrary("avformat-56");
        System.loadLibrary("swscale-3");
        System.loadLibrary("postproc-53");
        System.loadLibrary("avfilter-5");
        System.loadLibrary("avdevice-56");
        System.loadLibrary("my_ffmpeg");
    }
    
    public native static void decode(String input,String output);
}

Android.mk

LOCAL_PATH := $(call my-dir)

#ffmpeg lib
include $(CLEAR_VARS)
LOCAL_MODULE := avcodec
LOCAL_SRC_FILES := libavcodec-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avdevice
LOCAL_SRC_FILES := libavdevice-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avfilter
LOCAL_SRC_FILES := libavfilter-5.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avformat
LOCAL_SRC_FILES := libavformat-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avutil
LOCAL_SRC_FILES := libavutil-54.so
include $(PREBUILT_SHARED_LIBRARY)


include $(CLEAR_VARS)
LOCAL_MODULE := postproc
LOCAL_SRC_FILES := libpostproc-53.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := swresample
LOCAL_SRC_FILES := libswresample-1.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := swscale
LOCAL_SRC_FILES := libswscale-3.so
include $(PREBUILT_SHARED_LIBRARY)

#myapp
include $(CLEAR_VARS)
LOCAL_MODULE := my_ffmpeg
LOCAL_SRC_FILES := ffmpeg_player.c
LOCAL_C_INCLUDES += $(LOCAL_PATH)/include
LOCAL_LDLIBS := -llog
LOCAL_SHARED_LIBRARIES := avcodec avdevice avfilter avformat avutil postproc swresample swscale
include $(BUILD_SHARED_LIBRARY)

Application.mk

APP_ABI := armeabi
APP_PLATFORM := android-8

添加native本地支持，创建c文件ffmpeg_player.c

ffmpeg_player.c

#include "com_rzm_ndk_ffmpeg_FFmpegUtils.h"
#include <android/log.h>
//编码
#include "include/libavcodec/avcodec.h"
//封装格式处理
#include "include/libavformat/avformat.h"
//像素处理
#include "include/libswscale/swscale.h"

#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,"renzhenming",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,"renzhenming",FORMAT,##__VA_ARGS__);

JNIEXPORT void JNICALL Java_com_rzm_ndk_1ffmpeg_FFmpegUtils_decode
(JNIEnv * env, jclass jcls, jstring input_jstr, jstring output_jstr){
    const char* input_cstr = (*env)->GetStringUTFChars(env,input_jstr,NULL);
    const char* output_cstr =(*env)->GetStringUTFChars(env,output_jstr,NULL);

    //1.注册所有组件
    av_register_all();

    //封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息
    AVFormatContext *avFormatCtx = avformat_alloc_context();

    //2.打开输入视频文件
    if(avformat_open_input(&avFormatCtx,input_cstr,NULL,NULL)!=0){
        LOGE("%s","无法打开输入视频文件");
        return;
    }

    //3.获取视频文件信息
    if(avformat_find_stream_info(avFormatCtx,NULL)<0){
        LOGE("%s","无法获取视频文件信息");
        return;
    }

    //4.获取对应视频的解码器
    //一个视频包含一系列信息的组合，比如视频流音频流字幕等等，avformat_find_stream_info读取视频
    //信息之后，会将这些所以信息分组保存起来，也就是相当于一个数组，数组的每一个位置保存一个对应的信息，在
    //AVFormatContext 中是有这样一个数组的(avFormatCtx->streams),这个数组的每个index中都保存有
    //一类信息，而我们需要对视频进行解码，所以我们首先要找到视频信息在这个数组中的index，然后就可以获取到
    //这个index上的视频，然后就可以获取到这个视频的编码方式，然后获取解码器

    //a)获取到视频流的index
    int i = 0;
    int video_index = -1;
    for(;i<avFormatCtx->nb_streams;i++){  //avFormatCtx->nb_streams  number of streams
        //判断流的类型是不是 AVMEDIA_TYPE_VIDEO
        if(avFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
            video_index = i;
            break;
        }
    }

    if (video_index == -1){
        LOGE("%s","找不到视频流\n");
        return;
    }

    //b)从视频流中获取视频编解码器上下文
    AVCodecContext *avCodecCtx = avFormatCtx->streams[video_index]->codec;
    //c)根据编解码器id信息查找对应的编解码器
    AVCodec *avCodec = avcodec_find_decoder(avCodecCtx->codec_id);

    if (avCodec == NULL){
        LOGE("%s","找不到解码器\n");
        return;
    }

    //5.打开解码器
    if (avcodec_open2(avCodecCtx,avCodec,NULL)<0){
        LOGE("%s","解码器无法打开\n");
        return;
    }

    //输出视频信息
    LOGI("视频的文件格式：%s",avFormatCtx->iformat->name);
    //LOGI("视频时长：%l", (avFormatCtx->duration)/1000000);
    LOGI("视频的宽高：%d,%d",avCodecCtx->width,avCodecCtx->height);
    LOGI("解码器的名称：%s",avCodec->name);

    //6.读取输入文件数据
    //开辟缓冲区AVPacket用于存储一帧一帧的压缩数据（H264）
    AVPacket *avPacket =(AVPacket*)av_mallocz(sizeof(AVPacket));

    //开辟缓冲区AVFrame用于存储解码后的像素数据(YUV)
    AVFrame *avFrame = av_frame_alloc();
    AVFrame *avFrameYUV = av_frame_alloc();

    /**
     * 之前下边两行没写，导致解码得到的文件大小为0
     */

    //只有指定了AVFrame的像素格式、画面大小才能真正分配内存
    //缓冲区分配内存
    uint8_t *out_buffer = (uint8_t*)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV420P,avCodecCtx->width,avCodecCtx->height));
    //设置avFrameYUV缓冲区和像素格式，属性
    avpicture_fill((AVPicture*)avFrameYUV,out_buffer,AV_PIX_FMT_YUV420P,avCodecCtx->width,avCodecCtx->height);
    //帧数
    int frame_count = 0;

    //打开文件
    FILE *fp_yuv = fopen(output_cstr, "wb+");

    //用于转码（缩放）的参数，转之前的宽高，转之后的宽高，格式等
    struct SwsContext *swsContext = sws_getContext(avCodecCtx->width,avCodecCtx->height,avCodecCtx->pix_fmt,
            avCodecCtx->width,avCodecCtx->height,AV_PIX_FMT_YUV420P,SWS_BICUBIC,NULL,NULL,NULL);

    //是否获取到视频像素数据的标记(Zero if no frame could be decompressed, otherwise, it is nonzero.)
    int got_picture;
    int decode_result;
    //每次读取一帧,存入avPacket
    while(av_read_frame(avFormatCtx,avPacket)>=0){
        //筛选视频压缩数据（根据流的索引位置判断）
        if(avPacket->stream_index == video_index){
            //7.解码一帧视频压缩数据，得到视频像素数据
            decode_result = avcodec_decode_video2(avCodecCtx,avFrame,&got_picture,avPacket);

            if (decode_result < 0){
                LOGE("%s","解码错误");
                return;
            }
            //为0说明全部解码完成，非0正在解码
            if (got_picture){
                //将AVFrame转为像素格式YUV420，并设置解码后的视频宽高

                //参数解析：
                //2 6：输入、输出数据
                //3 7：输入、输出画面一行的数据的大小 AVFrame 转换是一行一行转换的
                //4      ：输入数据第一列要转码的位置 从0开始
                //5      ：输入画面的高度
                sws_scale(swsContext,avFrame->data,avFrame->linesize,0,avCodecCtx->height,avFrameYUV->data,avFrameYUV->linesize);

                //输出到YUV文件
                //AVFrame像素帧写入文件
                //data解码后的图像像素数据（音频采样数据）
                //Y 亮度 UV 色度（压缩了） 人对亮度更加敏感
                //U V 个数是Y的1/4
                int y_size = avCodecCtx->width * avCodecCtx->height;

                fwrite(avFrameYUV->data[0], 1, y_size, fp_yuv);
                fwrite(avFrameYUV->data[1], 1, y_size / 4, fp_yuv);
                fwrite(avFrameYUV->data[2], 1, y_size / 4, fp_yuv);

                frame_count++;
                LOGI("解码第%d帧",frame_count);
            }
        }
        //读取完一次释放一次
        av_free_packet(avPacket);
    }
    LOGI("解码完成");

    //关闭文件
    fclose(fp_yuv);

    (*env)->ReleaseStringUTFChars(env,input_jstr,input_cstr);
    (*env)->ReleaseStringUTFChars(env,output_jstr,output_cstr);

    av_frame_free(&avFrame);

    avcodec_close(avCodecCtx);

    avformat_free_context(avFormatCtx);
}

注意，解码后的文件非常大，一个10兆的视频解码后得到的yuv文件可能会有四五百兆，这是正常的，
但是直接使用yuv播放器直接播放这个视频，可能是花屏，因为这个播放是要按视频原来的分辨率播放才会正常，
比如原视频是19201080的，你用1280720的分辨率播放就会花掉，yuv播放器可以识别视频名称中的分辨率，所以只要这样写就好了
ot_1920x1080_yuv420p.yuv

文章标签：
编解码
Android开发
索引
存储
关键词：
ffmpeg开发
ffmpeg解码
Eclipse开发
开发ffmpeg
ndk开发ffmpeg
黑夜路口
目录
相关文章
众所周知
|
3月前
|
NoSQL 编译器 C语言
C语言调试是开发中的重要技能，涵盖基本技巧如打印输出、断点调试和单步执行，以及使用GCC、GDB、Visual Studio和Eclipse CDT等工具。
C语言调试是开发中的重要技能，涵盖基本技巧如打印输出、断点调试和单步执行，以及使用GCC、GDB、Visual Studio和Eclipse CDT等工具。高级技巧包括内存检查、性能分析和符号调试。通过实践案例学习如何有效定位和解决问题，同时注意保持耐心、合理利用工具、记录过程并避免过度调试，以提高编程能力和开发效率。
众所周知
72 1
aqi00
|
4月前
|
Linux 开发工具 Android开发
FFmpeg开发笔记（六十）使用国产的ijkplayer播放器观看网络视频
ijkplayer是由Bilibili基于FFmpeg3.4研发并开源的播放器，适用于Android和iOS，支持本地视频及网络流媒体播放。本文详细介绍如何在新版Android Studio中导入并使用ijkplayer库，包括Gradle版本及配置更新、导入编译好的so文件以及添加直播链接播放代码等步骤，帮助开发者顺利进行App调试与开发。更多FFmpeg开发知识可参考《FFmpeg开发实战：从零基础到短视频上线》。
aqi00
429 2
FFmpeg开发笔记（六十）使用国产的ijkplayer播放器观看网络视频
aqi00
|
4月前
|
Linux API 开发工具
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器，基于FFmpeg 3.4，支持Android和iOS。其源码托管于GitHub，截至2024年9月15日，获得了3.24万星标和0.81万分支，尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库，以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小，接着下载并安装Android SDK和NDK，最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
aqi00
145 0
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
aqi00
|
4月前
|
编解码 语音技术 内存技术
FFmpeg开发笔记（五十八）把32位采样的MP3转换为16位的PCM音频
《FFmpeg开发实战：从零基础到短视频上线》一书中的“5.1.2 把音频流保存为PCM文件”章节介绍了将媒体文件中的音频流转换为原始PCM音频的方法。示例代码直接保存解码后的PCM数据，保留了原始音频的采样频率、声道数量和采样位数。但在实际应用中，有时需要特定规格的PCM音频。例如，某些语音识别引擎仅接受16位PCM数据，而标准MP3音频通常采用32位采样，因此需将32位MP3音频转换为16位PCM音频。
aqi00
126 0
FFmpeg开发笔记（五十八）把32位采样的MP3转换为16位的PCM音频
aqi00
|
4月前
|
Android开发 开发者
FFmpeg开发笔记（五十七）使用Media3的Transformer加工视频文件
谷歌推出的Transformer，作为Jetpack Media3架构的一部分，助力开发者实现音视频格式转换与编辑。Media3简化了媒体处理流程，提升了定制性和可靠性。Transformer可用于剪辑、添加滤镜等操作，其示例代码可在指定GitHub仓库中找到。要使用Transformer，需在`build.gradle`中添加相关依赖，并按文档编写处理逻辑，最终完成音视频转换任务。具体步骤包括配置剪辑参数、设置空间效果以及监听转换事件等。
aqi00
83 0
FFmpeg开发笔记（五十七）使用Media3的Transformer加工视频文件
aqi00
|
4月前
|
XML 开发工具 Android开发
FFmpeg开发笔记（五十六）使用Media3的Exoplayer播放网络视频
ExoPlayer最初是为了解决Android早期MediaPlayer控件对网络视频兼容性差的问题而推出的。现在，Android官方已将其升级并纳入Jetpack的Media3库，使其成为音视频操作的统一引擎。新版ExoPlayer支持多种协议，解决了设备和系统碎片化问题，可在整个Android生态中一致运行。通过修改`build.gradle`文件、布局文件及Activity代码，并添加必要的权限，即可集成并使用ExoPlayer进行网络视频播放。具体步骤包括引入依赖库、配置播放界面、编写播放逻辑以及添加互联网访问权限。
aqi00
282 1
FFmpeg开发笔记（五十六）使用Media3的Exoplayer播放网络视频
aqi00
|
4月前
|
Web App开发 安全 程序员
FFmpeg开发笔记（五十五）寒冬里的安卓程序员可进阶修炼的几种姿势
多年的互联网寒冬在今年尤为凛冽，坚守安卓开发愈发不易。面对是否转行或学习新技术的迷茫，安卓程序员可从三个方向进阶：1）钻研谷歌新技术，如Kotlin、Flutter、Jetpack等；2）拓展新功能应用，掌握Socket、OpenGL、WebRTC等专业领域技能；3）结合其他行业，如汽车、游戏、安全等，拓宽职业道路。这三个方向各有学习难度和保饭碗指数，助你在安卓开发领域持续成长。
aqi00
114 1
FFmpeg开发笔记（五十五）寒冬里的安卓程序员可进阶修炼的几种姿势
aqi00
|
4月前
|
Linux 视频直播
FFmpeg开发笔记（五十四）使用EasyPusher实现移动端的RTSP直播
本文介绍了如何使用EasyPusher-Android实现RTSP直播流程。首先对比了RTSP、RTMP、SRT和RIST四种流媒体协议，并以RTSP为例，详细说明了使用EasyPusher-Android向流媒体服务器进行RTSP直播推流的方法。文中还提供了OBS Studio配置RTSP插件及ZLMediaKit云服务器部署的相关信息，通过修改EasyPusher-Android源码使其支持通用RTSP地址，最终验证了直播功能的成功实现。
aqi00
125 0
FFmpeg开发笔记（五十四）使用EasyPusher实现移动端的RTSP直播
小王老师呀
|
5月前
|
编解码 API 数据安全/隐私保护
FFmpeg开发笔记（五十四）使用EasyPusher实现移动端的RTSP直播
【9月更文挑战第21天】本文介绍了如何使用FFmpeg和EasyPusher实现移动端RTSP直播。首先概述了EasyPusher的功能及其API，接着详细描述了安装FFmpeg、获取EasyPusher库、初始化对象、打开输入流、配置推送参数及读取推送帧的具体步骤，并提醒开发者注意网络环境、编码参数和权限管理等问题，以确保直播质量与稳定性。
小王老师呀
75 8
aqi00
|
5月前
|
Linux 开发工具 Android开发
FFmpeg开发笔记（五十三）移动端的国产直播录制工具EasyPusher
EasyPusher是一款国产RTSP直播录制推流客户端工具，支持Windows、Linux、Android及iOS等系统。尽管其GitHub仓库（安卓版：https://github.com/EasyDarwin/EasyPusher-Android）已多年未更新，但通过一系列改造，如升级SDK版本、迁移到AndroidX、指定本地NDK版本及更新Gradle版本等，仍可在最新Android Studio上运行。以下是针对Android Studio Dolphin版本的具体改造步骤。
aqi00
98 3
FFmpeg开发笔记（五十三）移动端的国产直播录制工具EasyPusher