【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

文章目录

安卓直播推流专栏博客总结

一、 x264 编码后的 H.264 数据帧

二、 RTMP 协议中 关键帧 / 非关键帧 数据格式 说明

三、 判定 H.264 帧数据分隔符

四、 初始化 RTMPPacket

五、 设置包头数据

六、 设置 H.264 数据帧数据

七、 设置其它数据

八、 RTMPDump 封装视频帧数据代码示例

安卓直播推流专栏博客总结

Android RTMP 直播推流技术专栏 :

0 . 资源和源码地址 :

资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;

GitHub 源码地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )

【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )

3. 讲解 RTMP 数据包封装格式 :

【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )

【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )

【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )

【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )

【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )

【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

11. 解析 AAC 音频格式 :

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :

【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;

Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;

本篇博客中介绍如下内容 , Java 层将 Camera 采集的 NV21 格式的数据传入 JNI 层 , 在 JNI 中使用 x264 编码器将 NV21 图像数据编码为 H.264 视频数据 ;

本篇博客中主要封装 H.264 视频帧数据 , 将 帧类型 , 数据包类型 , 合成时间 , 数据长度 , 真实的 H.264 视频帧数据 , 封装到 RTMP 包中 ;

一、 x264 编码后的 H.264 数据帧

1 . x264 编码操作 : 调用 x264 库的 x264_encoder_encode 方法 , 将图像数据编码成 H.264 数据帧后 ;

① 编码后的数据 : 编码后的 H.264 数据保存在 pp_nal[i].p_payload 中 ;

② 编码后的数据长度 : 编码的 H.264 数据长度为 pp_nal[i].i_payload ;

2 . 数据间隔 :

① 数据间隔分类 : pp_nal[i].p_payload 数据时编码后的数据, 前四位默认是 00 00 00 01 , 或 00 00 01 ;

② 数据间隔处理 : 这个数据间隔在封装 RTMPPacket 数据包时 , 是不需要的 , 这些数据需要剔除 ;

③ 剔除数据间隔方法 : 首先计算数据时 , 要将数据大小 pp_nal[i].i_payload 减去间隔长度 , 另外数据取值时 , 需要越过 3 / 4 位数据间隔再取值 ;

// 4 字节分隔符是 x264 编码后生成的 H.264 数据中的数据, 这里需要剔除该数据
spsLen = pp_nal[i].i_payload - 4;
// 拷贝 H.264 数据时, 需要越过 4 字节 间隔数据
memcpy(sps, pp_nal[i].p_payload + 4, spsLen);

二、 RTMP 协议中 关键帧 / 非关键帧 数据格式 说明

1 . RTMP 协议中 H.264 数据帧格式 :

① 帧类型 : 1 字节, 关键帧 17, 非关键帧 27 ;

② 包类型 : 1 字节, 1 表示数据帧 ( 关键帧 / 非关键帧 ), 0 表示 AVC 序列头数据 ;

③ 合成时间 : 3 字节, 一般情况下设置 00 00 00 ;

④ 数据长度 : 4 字节, 即真实的数据帧画面的数据大小 ;

2 . 计算出数据帧的个数 : 上述 帧类型 , 包类型 , 合成时间 , 数据长度 , 总共有 9 字节 , 再加上实际的 H.264 数据帧长度 , 即最终打包的 RTMPPacket 数据帧大小 ;

int rtmpPackagesize = 9 + payload;

三、 判定 H.264 帧数据分隔符

1 . 不同数据帧的分隔符描述 :

① AVC 序列头 : 如果是 SPS PPS 数据帧 , 可以判定分隔符就是 00 00 00 01 四字节 ;

② H.264 视频帧 : 对于视频数据帧 , 不确定当前的 H.264 数据的分隔符是 00 00 00 01 还是 00 00 01 , 需要开发者进行判定 ;

2 . 判定方法 : 根据 第 2 位 的值判定 ;

① 四位分隔符判定 : 如果 第 2 位 值为 01, 说明分隔符是 00 00 01 ;

② 三位分隔符判定 : 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01 ;

3 . 分割符处理方法 :

① 数据大小处理 : 数据大小计算时 , 减去分隔符长度 , 3 或 4 ;

② 数据指针处理 : 数据取出时 , 跳过你分隔符数据 ;

4 . 分隔符处理代码 :

// 判定分隔符是 00 00 00 01 还是 00 00 01
    // 根据 第 2 位 的值判定
    // 如果 第 2 位 值为 01, 说明分隔符是 00 00 01
    // 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 识别出分隔符是 00 00 00 01
        // 要将 x264 编码出的数据个数减去 4, 只统计实际的数据帧个数
        payload -= 4;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 00 01 数据
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 识别出分隔符是 00 00 01
        // 要将 x264 编码出的数据个数减去 3, 只统计实际的数据帧个数
        payload -= 3;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 01 数据
        p_payload += 3;
    }

四、 初始化 RTMPPacket

调用 RTMPPacket_Alloc 方法 , 为 RTMP 数据包分配内存 , 之后调用 RTMPPacket_Reset 方法重置 RTMP 数据包 ;

// 为 RTMP 数据包分配内存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 数据包
    RTMPPacket_Reset(rtmpPacket);

五、 设置包头数据

包头数据设置 :

① 帧类型设置 : 如果是关键帧 , 设置 17 , 如果是非关键帧 , 设置 27 ; 这里需要判断该 H.264 视频帧是关键帧还是非关键帧 ;

② 包类型设置 : 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据 ;

③ 合成时间戳 : 默认设置 00 00 00 ;

④ 设置数据长度 : 位运算计算 4 字节中每一位的值 , 然后给四个字节数据赋值 ;

// 设置帧类型, 非关键帧类型 27, 关键帧类型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }
    // 设置包类型, 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据
    rtmpPacket->m_body[1] = 0x01;
    // 合成时间戳, AVC 数据直接赋值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;
    // 数据长度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;

六、 设置 H.264 数据帧数据

将 H.264 数据帧数据拷贝到 rtmpPacket->m_body[9] 对应的地址中 , 前面存放了 9 字节的包头数据 , 这里直接从索引 9 位置开始存放 H.264 视频帧数据 ;

   // H.264 数据帧数据

   memcpy(&rtmpPacket->m_body[9], p_payload, payload);

1

2

七、 设置其它数据

设置 RTMP 包类型 , RTMP 包长度 , RTMP 通道 , 时间戳 等信息 ;

// 设置 RTMP 包类型, 视频类型数据
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 设置 RTMP 包长度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 随意分配
    rtmpPacket->m_nChannel = 10;
    // 设置绝对时间, 对于 SPS PPS 赋值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 设置头类型, 随意设置一个
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;

八、 RTMPDump 封装视频帧数据代码示例

/**
 * 封装视频帧 , 关键帧 和 非关键帧
 * @param type  视频帧类型
 * @param payload   视频帧大小
 * @param p_payload 视频帧数据
 */
void VedioChannel::sendFrameToRtmpServer(int type, int payload, uint8_t *p_payload) {
    // 判定分隔符是 00 00 00 01 还是 00 00 01
    // 根据 第 2 位 的值判定
    // 如果 第 2 位 值为 01, 说明分隔符是 00 00 01
    // 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 识别出分隔符是 00 00 00 01
        // 要将 x264 编码出的数据个数减去 4, 只统计实际的数据帧个数
        payload -= 4;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 00 01 数据
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 识别出分隔符是 00 00 01
        // 要将 x264 编码出的数据个数减去 3, 只统计实际的数据帧个数
        payload -= 3;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 01 数据
        p_payload += 3;
    }
    // 创建 RTMP 数据包
    RTMPPacket *rtmpPacket = new RTMPPacket;
    /*
        计算 RTMP 数据包大小
        帧类型 : 1 字节, 关键帧 17, 非关键帧 27
        包类型 : 1 字节, 1 表示数据帧 ( 关键帧 / 非关键帧 ), 0 表示 AVC 序列头
        合成时间 : 3 字节, 设置 00 00 00
        数据长度 : 4 字节, 赋值 payload 代表的数据长度
     */
    int rtmpPackagesize = 9 + payload;
    // 为 RTMP 数据包分配内存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 数据包
    RTMPPacket_Reset(rtmpPacket);
    // 设置帧类型, 非关键帧类型 27, 关键帧类型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }
    // 设置包类型, 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据
    rtmpPacket->m_body[1] = 0x01;
    // 合成时间戳, AVC 数据直接赋值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;
    // 数据长度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;
    // H.264 数据帧数据
    memcpy(&rtmpPacket->m_body[9], p_payload, payload);
    // 设置 RTMP 包类型, 视频类型数据
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 设置 RTMP 包长度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 随意分配
    rtmpPacket->m_nChannel = 10;
    // 设置绝对时间, 对于 SPS PPS 赋值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 设置头类型, 随意设置一个
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;
    // 调用回调接口, 将该封装好的 RTMPPacket 数据包放入 native-lib 类中的 线程安全队列中
    // 这是个 RTMPPacketPackUpCallBack 类型的函数指针
    rtmpPacketPackUpCallBack(rtmpPacket);
}