Android流媒体开发之路二:NDK C++开发Android端RTMP直播推流程序

2023-07-09 218

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Android流媒体开发之路二:NDK C++开发Android端RTMP直播推流程序

NDK C++开发Android端RTMP直播推流程序

经过一番折腾，成功把RTMP直播推流代码，通过NDK交叉编译的方式，移植到了Android下，从而实现了Android端采集摄像头和麦克缝数据，然后进行h264视频编码和aac音频编码，并发送到RTMP服务器，从而实现Android摄像头直播。程序名为NdkRtmpEncoder，在这里把整个过程，和大体框架介绍一下，算是给需要的人引路。

开发思路

首先，为什么要用NDK来做，因为自己之前就已经实现过RTMP推流、RTMP播放、RTSP转码等等各种c++实现的流媒体项目，有很成熟的代码模块。既然Android有NDK，可以JNI的方式复用之前的成熟代码，大大拓展和加快项目实现，那为什么不这样去做呢。和其他平台一样，要实现采集摄像头推送直播流，需要实现以下几点

获取Android摄像头数据
对摄像头数据进行h264编码
编码后数据以RTMP协议封装数据并推送

下面分开来讲开发思路：

Android端采集摄像头原始数据，可以在Java层通过Camera2获取数据，也可以用NativeCamera通过NDK来获取，不过后者需要的版本高一些，我考虑了一下，还是决定通过Java层获取数据，然后再交给下层处理。
h264编码，可以通过AndroidMediaCodec进行硬件编码，也可以通过x264进行软件编码，这里因为要复用以前的代码，决定使用软件编码来验证
RTMP协议封装，这部分代码，直接使用之前的C++代码即可，本身就是平台无关的，NDK也是linux环境开发，socket网络通信都是相通的。具体可以参考我之前的文章“C++实现RTMP协议发送H.264编码及AAC编码的音视频”

程序框架

根据我的开发思路，程序框架就显而易见了：

这里省略了部分内容，比如在so动态库之上，有一层封装模块，供Activity调用

Java层的主要做数据采集。对摄像头，通过Camera2接口，获取到更新的Surface，并转交给Opengl.EGL进行绘制，数据被绘制到TextureView的SurfaceTexture上，同时将RGB原始数据回调给Activity，由Activity把数据转交给动态库。关于Camera2接口获取摄像头数据，可以参考之前的文章“Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览”，不同的是，那篇文章里直接使用ImageReader的Surface，这里使用的是自定义的Surface。
C++层实现对原始数据进行编码，并按照RTMP数据包进行封装，然后推送到RTMP服务器。这部分可以参考以前的文章“C++实现RTMP协议发送H.264编码及AAC编码的音视频”。

交叉编译

这部分也是主要工作之一，c++代码要想在Android上使用，必须编译成动态库，然后让APP通过JNI来调用。本质上，Android也是linux嘛，所以跟其他嵌入式arm-linux的交叉编译方式，本质上是差不多的，当然，前提是系统内布置好交叉编译环境。熟悉NDK的应该都知道，Google提供了完整的编译工具链，也包括SDK，下载地址在这里：“NDK Downloads”。我是在Ubuntu Linux上来做的，所以选择“Linux 64-bit(x86)”版本，记得Linux环境必须是64位，不然你什么都编译不了。

解压后其实就可以开始了。不过这里还是有两种编译方式：第一种就是类似其他arm-linux环境，配置好交叉编译工具链环境，然后直接按照普通的linux编译方式进行编译；第二种是编写Android.mk文件，然后用NDK里提供的ndk-build脚本进行编译。

1. 工具链方式

对第一种方式来说其实比较简单，安装好交叉编译工具链之后，配置一下环境，就可以编译了。比如如下配置

这样基本就可以了，当然不同项目可能还需要进一步的修改配置，make之前需要执行configure等，但大致如此。

2. ndk-build方式

对Android.mk来说，跟Makefile差别是很大的，有它自己的语法，它在整个编译过程中的位置，可能更接近于automake工具里Makefile.am。关于它的语法，参见我下面的mk文件，做了一些注释，可以帮助理解，具体的语法可以参考官方网站Android Developer。我在这里把我rtmp_enc_sdk.so动态库的Android.mk的主要内容贴出来，大家可作参考。