【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

文章目录

安卓直播推流专栏博客总结

一、 NV21 数据传入 Native 层

二、 jbyte * 数据类型 ( Java 中的 byte[] 数组传入 JNI 处理方式 )

三、 局部引用处理

四、 x264 编码过程中的线程互斥

五、 x264 视频数据编码代码示例

安卓直播推流专栏博客总结

Android RTMP 直播推流技术专栏 :

0 . 资源和源码地址 :

资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;

GitHub 源码地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )

【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )

3. 讲解 RTMP 数据包封装格式 :

【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )

【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )

【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )

【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )

【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )

【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

11. 解析 AAC 音频格式 :

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :

【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;

Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;

本篇博客中介绍如下内容 , Java 层将 Camera 采集的 NV21 格式的数据传入 JNI 层 ;

一、 NV21 数据传入 Native 层

1 . Camera 采集 NV21 格式图像数据 :

① 接口注册 : Android 中使用 Camera 采集图像数据 , 启动 Camera 时会为其注册一个回调接口 PreviewCallback ;

② 数据回调 : 当 Camera 采集到图像数据后 , 就会回调该 PreviewCallback 接口中的 onPreviewFrame 方法 , 在该方法中可以获取 Camera 采集到的图像数据 , 该图像数据是 NV21 格式的 ;

2 . Java 中定义的方法 : Java 中传递的参数类型为 byte[] , 字节数组类型 ;

public native void native_encodeCameraData(byte[] data);

3 . JNI 中对应的方法 : JNI 中接收的方法是 jbyteArray data 类型的 ;

extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_rtmp_LivePusher_native_1encodeCameraData(JNIEnv *env, jobject thiz, jbyteArray data) {
}

二、 jbyte * 数据类型 ( Java 中的 byte[] 数组传入 JNI 处理方式 )

1 . 类型转换 :

① jbyteArray 类型说明 : jbyteArray 类型在 C++ 中是无法使用的 , 必须转成可以使用的数据类型, jbyteArray 就是 Java 类型的字节数组 , 可以转为 jbyte 数组 ;

② jbyteArray 转为 jbyte * : 调用 JNIEnv 结构体的 GetByteArrayElements 方法 , 可以将 jbyteArray 类型数据转为 jbyte * 类型 ;

// 将 Java 层的 byte 数组类型 jbyteArray 转为 jbyte* 指针类型
    // 注意这是局部引用变量, 不能跨线程, 跨方法调用, 需要将其存放在堆内存中
    jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);

2 . jbyte 类型 : 在 jni.h 中 , 定义了 Java 中的 byte 类型 jbyte 类型 , 实际上是 C/C++ 中的 int8_t 数据类型 ;

typedef int8_t   jbyte;    /* signed 8 bits */

3 . x264 编码方法接收的数据类型 : jbyte 类型本质就是 int8_t 类型 , 直接将 jbyte* dataFromJava , 代表了 jbyte 类型的数组 , 可以将该指针传入 encodeCameraData 方法 ; jbyte* 类型等同于 int8_t * 类型

void encodeCameraData(int8_t *data)

三、 局部引用处理

1 . 局部引用处理 :

① 局部引用 : 参数中的 jbyte* dataFromJava , 以及转换后的 jbyte* dataFromJava 数据 , 都是局部引用 ;

② 局部引用特性 : 局部引用变量 , 不能跨线程 , 跨方法调用 , 超出作用域后立刻失效 , 如果要使用该数据 , 需要将其存放在堆内存中 ;

③ 回收内存 : 局部引用要在作用域结束前主动回收内存 , 不要等系统自动回收 , 避免不必要的内存抖动 ;

// 将 Java 层的 byte 数组类型 jbyteArray 转为 jbyte* 指针类型
    // 注意这是局部引用变量, 不能跨线程, 跨方法调用, 需要将其存放在堆内存中
    jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);
    // 释放局部引用变量
    env->ReleaseByteArrayElements(data, dataFromJava, 0);

2 . 局部引用 , 全局引用 , 弱全局引用处理参考 :

【Android NDK 开发】JNI 引用 ( 局部引用 | 局部引用作用域 | 局部引用产生 | 局部引用释放 | 代码示例)

【Android NDK 开发】JNI 引用 ( 全局引用 | NewGlobalRef | DeleteGlobalRef )

【Android NDK 开发】JNI 引用 ( 弱全局引用 | NewWeakGlobalRef | DeleteWeakGlobalRef )

四、 x264 编码过程中的线程互斥

线程互斥说明 :

① x264 编码与 x264 参数设置 : 在 x264 编码的过程中 , 一定要与 x264 参数设置进行互斥 ;

② 参数修改 : 编码的整个过程中 , x264 的参数不能改变 , 如编码图像的宽度 , 高度 , 视频的帧率 , 码率 , 改变任意一个值 , 都会导致不可预知的风险 ;

③ 场景举例 : 在 x264 编码过程中 , 突然横竖屏切换 , 这时候会激活 x264 参数设置选项 , 如果此时正在编码 , 会出错 ;

2 . 互斥锁管理 : 导入包 #include <pthread.h> ;

① 声明互斥锁 : 使用前需要在成员变量中声明互斥锁 ;

/**
     * 互斥锁
     * 数据编码时, 可能会重新设置视频编码参数 setVideoEncoderParameters, 如横竖屏切换, 改变了大小
     * setVideoEncoderParameters 操作线程, 需要与编码操作互斥
     */
    pthread_mutex_t mMutex;

② 初始化互斥锁 : 构造函数中初始化互斥锁 ;

// 初始化互斥锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_init(&mMutex, 0);

③ 销毁互斥锁 : 析构函数中回收互斥锁 ;

// 销毁互斥锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_destroy(&mMutex);

④ 使用互斥锁 : 设置参数时需要加锁 , 数据编码时需要加锁 ;

// 加锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_lock(&mMutex);
  // 执行需要互斥的操作
    // 解锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_unlock(&mMutex);

五、 x264 视频数据编码代码示例

1 . Java 中定义的 native 方法 :

/**
     * 执行数据编码操作
     * @param data
     */
    public native void native_encodeCameraData(byte[] data);

2 . NV21 数据传递过程 :

extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_rtmp_LivePusher_native_1encodeCameraData(JNIEnv *env, jobject thiz, jbyteArray data) {
    if(!vedioChannel || !readyForPush){
        // 如果 vedioChannel 还没有进行初始化, 推流没有准备好了, 直接 return
        __android_log_print(ANDROID_LOG_INFO, "RTMP", "还没有准备完毕, 稍后再尝试调用该方法");
        return;
    }
    // 将 Java 层的 byte 数组类型 jbyteArray 转为 jbyte* 指针类型
    // 注意这是局部引用变量, 不能跨线程, 跨方法调用, 需要将其存放在堆内存中
    jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);
    // jbyte 是 int8_t 类型的, 因此这里我们将 encodeCameraData 的参数设置成 int8_t* 类型
    // typedef int8_t   jbyte;    /* signed 8 bits */
    vedioChannel->encodeCameraData(dataFromJava);
    // 释放局部引用变量
    env->ReleaseByteArrayElements(data, dataFromJava, 0);
}

3 . x264 编码器将 NV21 图像数据编码为 H.264 代码 :

/**
 * 视频数据编码
 * 接收 int8_t 类型的原因是, 这里处理的是 jbyte* 类型参数
 * jbyte 类型就是 int8_t 类型
 * @param data 视频数据指针
 */
void VedioChannel::encodeCameraData(int8_t *data) {
    // 加锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_lock(&mMutex);
  // 后续还有操作, 本博客中暂时省略
    // 解锁, 设置视频编码参数 与 编码互斥
    pthread_mutex_unlock(&mMutex);
}