【Android FFMPEG 开发】FFMPEG ANativeWindow 原生绘制 ( Java 层获取 Surface | 传递画布到本地 | 创建 ANativeWindow )

简介: 【Android FFMPEG 开发】FFMPEG ANativeWindow 原生绘制 ( Java 层获取 Surface | 传递画布到本地 | 创建 ANativeWindow )

文章目录

I . FFMPEG ANativeWindow 原生绘制

II . FFMPEG 原生绘制流程

III . Java 层获取 Surface 画布

IV . 传递 Surface 画布到 Native 层

V . Native 层创建 ANativeWindow 原生绘制窗口



I . FFMPEG ANativeWindow 原生绘制


FFMPEG ANativeWindow 原生绘制前置操作 :



① FFMPEG 初始化 : 参考博客 【Android FFMPEG 开发】FFMPEG 初始化 ( 网络初始化 | 打开音视频 | 查找音视频流 )


② FFMPEG 获取 AVStream 音视频流 : 参考博客 【Android FFMPEG 开发】FFMPEG 获取 AVStream 音视频流 ( AVFormatContext 结构体 | 获取音视频流信息 | 获取音视频流个数 | 获取音视频流 )


③ FFMPEG 获取 AVCodec 编解码器 : 参考博客 【Android FFMPEG 开发】FFMPEG 获取编解码器 ( 获取编解码参数 | 查找编解码器 | 获取编解码器上下文 | 设置上下文参数 | 打开编解码器 )


④ FFMPEG 读取音视频流中的数据到 AVPacket : 参考博客 【Android FFMPEG 开发】FFMPEG 读取音视频流中的数据到 AVPacket ( 初始化 AVPacket 数据 | 读取 AVPacket )


⑤ FFMPEG 解码 AVPacket 数据到 AVFrame : 参考博客 【Android FFMPEG 开发】FFMPEG 解码 AVPacket 数据到 AVFrame ( AVPacket->解码器 | 初始化 AVFrame | 解码为 AVFrame 数据 )


⑥ FFMPEG AVFrame 图像格式转换 YUV -> RGBA : 参考博客 【Android FFMPEG 开发】FFMPEG AVFrame 图像格式转换 YUV -> RGBA ( 获取 SwsContext | 初始化图像数据存储内存 | 图像格式转换 )




II . FFMPEG 原生绘制流程


FFMPEG 解码 AVPacket 数据到 AVFrame 流程 :



〇 前置操作 : FFMPEG 环境初始化 , 获取 AVStream 音视频流 , 获取 AVCodec 编解码器 , 读取音视频流中的数据到 AVPacket , 解码 AVPacket 数据到 AVFrame , AVFrame 图像格式转换 YUV -> RGBA , 然后才能进行下面的操作 ;



① Java 层获取 Surface 对象 : Surface 画布可以在 SurfaceView 的 SurfaceHolder 中获取


//绘制图像的 SurfaceView
SurfaceView surfaceView;
//在 SurfaceView 回调函数中获取
SurfaceHolder surfaceHolder = surfaceView.getHolder() ; 
//获取 Surface 画布
Surface surface = surfaceHolder.getSurface() ;



② 将 Surface 对象传递到 Native 层 : 在 SurfaceHolder.Callback 接口的 surfaceChanged 实现方法中 , 将 Surface 画布传递给 Native 层 ;


@Override

public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
    //画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键
    //将 Surface 传到 Native 层 , 在 Native 层绘制图像
    native_set_surface(holder.getSurface());
}
//调用该方法将 Surface 传递到 Native 层
native void native_set_surface(Surface surface);



③ 创建 ANativeWindow : 在 Native 层的 C++ 代码中 , 接收 Surface 画布 , 并创建 ANativeWindow 本地绘制窗口 , 原生绘制主要在 ANativeWindow 中进行 ;


//CPP 中接收 Surface 画布 , 并创建 ANativeWindow
extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {
    // 将从 Java 层传递的 Surface 对象转换成 ANativeWindow 结构体
    //      如果之前已经有了 ANativeWindow 结构体 , 那么先将原来的释放掉
    //释放原来的 ANativeWindow
    if(aNativeWindow){
        ANativeWindow_release(aNativeWindow);
    }
    //转换新的 ANativeWindow
    aNativeWindow = ANativeWindow_fromSurface(env, surface);
}




III . Java 层获取 Surface 画布


1 . Surface 画布 : 这里的 Surface 画布从 SurfaceView 中获得 , SurfaceHolder.Callback 的监听方法中获取 SurfaceHolder 及 Surface ;



2 . 设置 SurfaceHolder 回调函数 : 首先要获取 SurfaceView 的 SurfaceHolder ; 设置 SurfaceHolder 监听回调函数 SurfaceHolder.Callback ;


   

//监听获取画布
        this.surfaceHolder = this.surfaceView.getHolder();
        surfaceHolder.addCallback(this);


3 . 获取 Surface 画布 : 在 surfaceChanged 回调方法中 , 获取 Surface 画布 , 这样可以保证在横竖屏切换时可以实时获取到最新画布 ;


 

@Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
        //画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键
        //holder.getSurface() 就是 Surface 画布 ; 
    }


4 . Surface 画布获取 代码示例 :


package kim.hsl.ffmpeg;
import android.util.Log;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
/**
 * Java 层与 Native 层交互 接口
 */
public class Player implements SurfaceHolder.Callback {
    private static final String TAG = "Player";
    // 加载动态库
    static {
        System.loadLibrary("native-lib");
    }
    /**
     * 视频显示组件
     */
    private SurfaceView surfaceView;
    /**
     * 控制 Surface 画布接口
     */
    private SurfaceHolder surfaceHolder;
    ...
    public void setSurfaceView(SurfaceView surfaceView) {
        this.surfaceView = surfaceView;
        //监听获取画布
        this.surfaceHolder = this.surfaceView.getHolder();
        surfaceHolder.addCallback(this);
    }
    @Override
    public void surfaceCreated(SurfaceHolder holder) {
        //画布创建
    }
    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
        //画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键
        //holder.getSurface() 就是 Surface 画布 ; 
    }
    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
        //画布销毁
    }
}





IV . 传递 Surface 画布到 Native 层


1 . 原生绘制需求 : 在 Native 层使用 C/C++ 进行原生绘制需要将 Surface 画布传递到 Native 层进行绘制 ;



2 . 定义传递方法 : 在 Java 层定义传递 Surface 画布的 Native 方法 ;


native void native_set_surface(Surface surface);

1


3 . 实现 Surface 传递方法 : 在 Native 层实现 Java 中定义的方法 ;



extern "C"

JNIEXPORT void JNICALL

Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {

...

}

1

2

3

4

5

6


4 . 传递 Surface 画布操作 : 在 surfaceChanged 函数中 , 通过调用 SurfaceHolder 的 getSurface ( ) 方法获取 Surface 画布 , 再调用 native_set_surface(holder.getSurface()) , 将画布传递到 Surface 层 ;


   @Override

   public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {

       //画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键


       //将 Surface 传到 Native 层 , 在 Native 层绘制图像

       native_set_surface(holder.getSurface());


   }

1

2

3

4

5

6

7

8



V . Native 层创建 ANativeWindow 原生绘制窗口


1 . ANativeWindow 创建 : 在 Native 层实现 Java 中定义的本地方法 native_set_surface ( ) , 在该方法中传入了 Surface 对象作为参数 ; 在该 Native 方法中 , 调用了 ANativeWindow_fromSurface ( ) 方法 , 将 Surface 对象转为了 ANativeWindow 原生绘制窗口 ;



2 . ANativeWindow_fromSurface ( ) 函数原型 :



① JNIEnv* env 参数 : JNI 环境 , 在 JNI 方法中自带 ;


② jobject surface 参数 : Java 层传入的 Surface 对象 ;


/**
 * Return the ANativeWindow associated with a Java Surface object,
 * for interacting with it through native code.  This acquires a reference
 * on the ANativeWindow that is returned; be sure to use ANativeWindow_release()
 * when done with it so that it doesn't leak.
 */
ANativeWindow* ANativeWindow_fromSurface(JNIEnv* env, jobject surface);



3 . Native 层创建 ANativeWindow 原生绘制窗口 代码示例 :


/**
 * 原生绘制窗口
 */
ANativeWindow * aNativeWindow;
extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {
    //加同步锁
    pthread_mutex_lock(&mutex);
    // 将从 Java 层传递的 Surface 对象转换成 ANativeWindow 结构体
    //      如果之前已经有了 ANativeWindow 结构体 , 那么先将原来的释放掉
    //释放原来的 ANativeWindow
    if(aNativeWindow){
        ANativeWindow_release(aNativeWindow);
    }
    //转换新的 ANativeWindow
    aNativeWindow = ANativeWindow_fromSurface(env, surface);
    //解除同步锁
    pthread_mutex_unlock(&mutex);
}


目录
相关文章
|
安全 前端开发 Java
《深入理解Spring》:现代Java开发的核心框架
Spring自2003年诞生以来,已成为Java企业级开发的基石,凭借IoC、AOP、声明式编程等核心特性,极大简化了开发复杂度。本系列将深入解析Spring框架核心原理及Spring Boot、Cloud、Security等生态组件,助力开发者构建高效、可扩展的应用体系。(238字)
|
存储 API Android开发
【02】完整的安卓二次商业实战-配置gradle-构建打包原生安卓项目-调试本地运行模拟器-优雅草伊凡
【02】完整的安卓二次商业实战-配置gradle-构建打包原生安卓项目-调试本地运行模拟器-优雅草伊凡
1150 4
【02】完整的安卓二次商业实战-配置gradle-构建打包原生安卓项目-调试本地运行模拟器-优雅草伊凡
|
消息中间件 人工智能 Java
抖音微信爆款小游戏大全:免费休闲/竞技/益智/PHP+Java全筏开源开发
本文基于2025年最新行业数据,深入解析抖音/微信爆款小游戏的开发逻辑,重点讲解PHP+Java双引擎架构实战,涵盖技术选型、架构设计、性能优化与开源生态,提供完整开源工具链,助力开发者从理论到落地打造高留存、高并发的小游戏产品。
|
JavaScript 安全 前端开发
Java开发:最新技术驱动的病人挂号系统实操指南与全流程操作技巧汇总
本文介绍基于Spring Boot 3.x、Vue 3等最新技术构建现代化病人挂号系统,涵盖技术选型、核心功能实现与部署方案,助力开发者快速搭建高效、安全的医疗挂号平台。
586 3
|
安全 Java 数据库
Java 项目实战病人挂号系统网站设计开发步骤及核心功能实现指南
本文介绍了基于Java的病人挂号系统网站的技术方案与应用实例,涵盖SSM与Spring Boot框架选型、数据库设计、功能模块划分及安全机制实现。系统支持患者在线注册、登录、挂号与预约,管理员可进行医院信息与排班管理。通过实际案例展示系统开发流程与核心代码实现,为Java Web医疗项目开发提供参考。
613 2
|
存储 Java 关系型数据库
Java 项目实战基于面向对象思想的汽车租赁系统开发实例 汽车租赁系统 Java 面向对象项目实战
本文介绍基于Java面向对象编程的汽车租赁系统技术方案与应用实例,涵盖系统功能需求分析、类设计、数据库设计及具体代码实现,帮助开发者掌握Java在实际项目中的应用。
477 0
|
移动开发 Cloud Native 安全
Java:跨平台之魂,企业级开发的磐石
Java:跨平台之魂,企业级开发的磐石