技术背景
GB28181协议是一种用于设备状态信息报送的协议，可以在不同设备之间进行通信和数据传输。
在安卓系统上实现GB/T 28181非常必要，GB28181协议实现分两部分，一部分是信令，另外一部分就是媒体数据的编码。
信令主要包括SIP Register，SIP Message，SIP Invite，SIP NOTIFY，SIP SUBSCRIBE 等方法的请求和响应处理，还有就是MANSCDP的解析和生成。
video主要是把摄像头图像编码成H.264或者H.265, audio主要是把麦克风采集的音频编码成G.711或aac，然后把编码后的音视频数据打包成PS包, 再把PS包打包到RTP包中, 然后发送RTP包。
如果是自己研发，可借鉴的思路如下：比如，使用基于esosip和osp库的c++代码来开发GB28181协议的客户端。
然后，在Android应用程序中，需要实现解码和音视频的渲染播放功能。可以通过将Surface传入到Native层，并使用ANativeWindow_fromSurface函数获取ANativeWindow对象，作为渲染解码数据的载体，当然也可以直接通过NV12或NV21数据采集传输。
信令这块，还需要设置适当的心跳间隔和心跳次数来保持与服务器的连接。
需要注意的是，在Android平台上实现GB28181协议的接入时，需要考虑兼容性和性能问题。特别是，对于不同版本的Android操作系统，需要进行相应的兼容性处理，一般来说，考虑到编码性能，建议选择支持硬编码的设备，确保分辨率可以支持到1920*1080甚至更高。
好多开发者，希望知道我们的设计思路，以我们Android平台GB28181设备接入模块为例，我们的设计如下：
技术实现
GBSIPAgentListener主要系GB28181注册、心跳、DevicePosition等，如注册成功、注册超时、注册网络传输层错误、心跳异常、设备位置请求处理：
public interface GBSIPAgentListener { /*注册成功 * @param dateString: 服务器日期，用来校准设备端时间，用户自行决定是否校准设备时间 */ void ntsRegisterOK(String dateString); /* *注册超时 */ void ntsRegisterTimeout(); /* *注册网络传输层异常 */ void ntsRegisterTransportError(String errorInfo); /* *心跳达到异常次数 */ void ntsOnHeartBeatException(int exceptionCount, String lastExceptionInfo); /* * 设备位置请求, 这个主要用在移动设备位置订阅上 * @param interval 请求间隔, 单位是毫秒 */ void ntsOnDevicePositionRequest(String deviceId, int interval); }
GBSIPAgentPlayListener主要系GB28181的Invite、Ack、Bye等处理：
public interface GBSIPAgentPlayListener { /* *收到s=Play的实时视音频点播 */ void ntsOnInvitePlay(String deviceId, SessionDescription sessionDescription); /* *发送play invite response 异常 */ void ntsOnPlayInviteResponseException(String deviceId, int statusCode, String errorInfo); /* * 收到CANCEL play INVITE请求 */ void ntsOnCancelPlay(String deviceId); /* * 收到Ack */ void ntsOnAckPlay(String deviceId); /* * 收到Bye */ void ntsOnByePlay(String deviceId); /* * 不是在收到BYE Message情况下， 终止Play */ void ntsOnTerminatePlay(String deviceId); /* * Play会话对应的对话终止, 一般不会出发这个回调,目前只有在响应了200K, 但在64*T1时间后还没收到ACK,才可能会出发 收到这个, 请做相关清理处理 */ void ntsOnPlayDialogTerminated(String deviceId); }
GBSIPAgentAudioBroadcastListener主要系GB28181语音广播处理相关，如有语音广播相关需求，可参照demo实例实现：
public interface GBSIPAgentAudioBroadcastListener { /* *收到语音广播通知 */ void ntsOnNotifyBroadcastCommand(String fromUserName, String fromUserNameAtDomain, String sn, String sourceID, String targetID); /* *需要准备接受语音广播的SDP内容 */ void ntsOnAudioBroadcast(String commandFromUserName, String commandFromUserNameAtDomain, String sourceID, String targetID); /* *音频广播, 发送Invite请求异常 */ void ntsOnInviteAudioBroadcastException(String sourceID, String targetID, String errorInfo); /* *音频广播, 等待Invite响应超时 */ void ntsOnInviteAudioBroadcastTimeout(String sourceID, String targetID); /* *音频广播, 收到Invite消息最终响应 */ void ntsOnInviteAudioBroadcastResponse(String sourceID, String targetID, int statusCode, SessionDescription sessionDescription); /* * 音频广播, 收到BYE Message */ void ntsOnByeAudioBroadcast(String sourceID, String targetID); /* * 不是在收到BYE Message情况下， 终止音频广播 */ void ntsOnTerminateAudioBroadcast(String sourceID, String targetID); }
GBSIPAgentDeviceControlListener主要系GB28181设备控制相关，比如远程启动、云台控制：
public interface GBSIPAgentDeviceControlListener { /* * 收到远程启动控制命令 */ void ntsOnDeviceControlTeleBootCommand(String deviceId, String teleBootValue); /* * 云台控制 */ void ntsOnDeviceControlPTZCmd(String deviceId, String typeValue); }
GBSIPAgentQueryCommandListener主要系GB28181查询命令，如预置位查询：
public interface GBSIPAgentQueryCommandListener { /* * 设备预置位查询 */ void ntsOnDevicePresetQueryCommand(String fromUserName, String fromUserNameAtDomain, String sn, String deviceId); }
GBSIPAgentTalkListener主要系GB28181语音对讲相关处理：
public interface GBSIPAgentTalkListener { /* *收到s=Talk 语音对讲 */ void ntsOnInviteTalk(String deviceId, SessionDescription sessionDescription); /* *发送talk invite response 异常 */ void ntsOnTalkInviteResponseException(String deviceId, int statusCode, String errorInfo); /* * 收到CANCEL Talk INVITE请求 */ void ntsOnCancelTalk(String deviceId); /* * 收到Ack */ void ntsOnAckTalk(String deviceId); /* * 收到Bye */ void ntsOnByeTalk(String deviceId); /* * 不是在收到BYE Message情况下， 终止Talk */ void ntsOnTerminateTalk(String deviceId); /* * Talk会话对应的对话终止, 一般不会出发这个回调,目前只有在响应了200K, 但在64*T1时间后还没收到ACK,才可能会出发 收到这个, 请做相关清理处理 */ void ntsOnTalkDialogTerminated(String deviceId); }
媒体数据处理
RTP数据发送
RTP Sender（SmartPublisherJniV2.java）相关接口设计：
/* * SmartPublisherJniV2.java * Author: https://daniusdk.com */ /* * 创建RTP Sender实例 * * @param reserve：保留参数传0 * * @return RTP Sender 句柄，0表示失败 */ public native long CreateRTPSender(int reserve); /** *设置 RTP Sender传输协议 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param transport_protocol, 0:UDP, 1:TCP, 默认是UDP * * @return {0} if successful */ public native int SetRTPSenderTransportProtocol(long rtp_sender_handle, int transport_protocol); /** *设置 RTP Sender IP地址类型 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param ip_address_type, 0:IPV4, 1:IPV6, 默认是IPV4, 当前仅支持IPV4 * * @return {0} if successful */ public native int SetRTPSenderIPAddressType(long rtp_sender_handle, int ip_address_type); /** *设置 RTP Sender RTP Socket本地端口 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param port, 必须是偶数，设置0的话SDK会自动分配, 默认值是0 * * @return {0} if successful */ public native int SetRTPSenderLocalPort(long rtp_sender_handle, int port); /** *设置 RTP Sender SSRC * * @param rtp_sender_handle, CreateRTPSender返回值 * @param ssrc, 如果设置的话，这个字符串要能转换成uint32类型, 否则设置失败 * * @return {0} if successful */ public native int SetRTPSenderSSRC(long rtp_sender_handle, String ssrc); /** *设置 RTP Sender RTP socket 发送Buffer大小 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param buffer_size, 必须大于0, 默认是512*1024, 当前仅对UDP socket有效, 根据视频码率考虑设置合适的值 * * @return {0} if successful */ public native int SetRTPSenderSocketSendBuffer(long rtp_sender_handle, int buffer_size); /** *设置 RTP Sender RTP时间戳时钟频率 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param clock_rate, 必须大于0, 对于GB28181 PS规定是90kHz, 也就是90000 * * @return {0} if successful */ public native int SetRTPSenderClockRate(long rtp_sender_handle, int clock_rate); /** *设置 RTP Sender 目的IP地址, 注意当前用在GB2818推送上,只设置一个地址,将来扩展如果用在其他地方，可能要设置多个目的地址，到时候接口可能会调整 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param address, IP地址 * @param port, 端口 * * @return {0} if successful */ public native int SetRTPSenderDestination(long rtp_sender_handle, String address, int port); /** * 设置是否开启 RTP Receiver * @param rtp_sender_handle, CreateRTPSender返回值 * @param is_enable, 0表示不收RTP包, 1表示收RTP包, SDK默认值为0. * @return */ public native int EnableRTPSenderReceive(long rtp_sender_handle, int is_enable); /** *设置RTP Receiver SSRC * * @param rtp_sender_handle, CreateRTPSender返回值 * @param ssrc, 如果设置的话，这个字符串要能转换成uint32类型, 否则设置失败 * * @return {0} if successful */ public native int SetRTPSenderReceiveSSRC(long rtp_sender_handle, String ssrc); /** *设置RTP Receiver Payload 相关信息 * * @param rtp_sender_handle, CreateRTPSender返回值 * * @param payload_type, 请参考 RFC 3551 * * @param encoding_name, 编码名, 请参考 RFC 3551, 如果payload_type不是动态的, 可能传null就好 * * @param media_type, 媒体类型, 请参考 RFC 3551, 1 是视频, 2是音频 * * @param clock_rate, 请参考 RFC 3551 * * @return {0} if successful */ public native int SetRTPSenderReceivePayloadType(long rtp_sender_handle, int payload_type, String encoding_name, int media_type, int clock_rate); /** *设置RTP Receiver PS的pts和dts clock frequency * * @param rtp_sender_handle, CreateRTPSender返回值 * * @param ps_clock_frequency, 默认是90000, 一些特殊场景需要设置 * * @return {0} if successful */ public native int SetRTPSenderReceivePSClockFrequency(long rtp_sender_handle, int ps_clock_frequency); /** *设置 RTP Receiver 音频采样率 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param sampling_rate, 音频采样率 * * @return {0} if successful */ public native int SetRTPSenderReceiveAudioSamplingRate(long rtp_sender_handle, int sampling_rate); /** *设置 RTP Receiver 音频通道数 * * @param rtp_sender_handle, CreateRTPSender返回值 * @param channels, 音频通道数 * * @return {0} if successful */ public native int SetRTPSenderReceiveAudioChannels(long rtp_sender_handle, int channels); /** *初始化RTP Sender, 初始化之前先调用上面的接口配置相关参数 * * @param rtp_sender_handle, CreateRTPSender返回值 * * @return {0} if successful */ public native int InitRTPSender(long rtp_sender_handle); /** *获取RTP Sender RTP Socket本地端口 * * @param rtp_sender_handle, CreateRTPSender返回值 * * @return 失败返回0, 成功的话返回响应的端口, 请在InitRTPSender返回成功之后调用 */ public native int GetRTPSenderLocalPort(long rtp_sender_handle); /** * UnInit RTP Sender * * @param rtp_sender_handle, CreateRTPSender返回值 * * @return {0} if successful */ public native int UnInitRTPSender(long rtp_sender_handle); /** * 释放RTP Sender, 释放之后rtp_sender_handle就无效了，请不要再使用 * * @param rtp_sender_handle, CreateRTPSender返回值 * * @return {0} if successful */ public native int DestoryRTPSender(long rtp_sender_handle);
RTP数据接收
对应RTP Receiver（SmartPlayerJniV2.java）相关接口设计，如无语音广播或语音对讲相关技术需求，这部分可忽略：
/* * SmartPlayerJniV2.java * Author: https://daniusdk.com */ /* * 创建RTP Receiver * * @param reserve：保留参数传0 * * @return RTP Receiver 句柄，0表示失败 */ public native long CreateRTPReceiver(int reserve); /** *设置 RTP Receiver传输协议 * * @param rtp_receiver_handle, CreateRTPReceiver * @param transport_protocol, 0:UDP, 1:TCP, 默认是UDP * * @return {0} if successful */ public native int SetRTPReceiverTransportProtocol(long rtp_receiver_handle, int transport_protocol); /** *设置 RTP Receiver IP地址类型 * * @param rtp_receiver_handle, CreateRTPReceiver * @param ip_address_type, 0:IPV4, 1:IPV6, 默认是IPV4 * * @return {0} if successful */ public native int SetRTPReceiverIPAddressType(long rtp_receiver_handle, int ip_address_type); /** *设置 RTP Receiver RTP Socket本地端口 * * @param rtp_receiver_handle, CreateRTPReceiver * @param port, 必须是偶数，设置0的话SDK会自动分配, 默认值是0 * * @return {0} if successful */ public native int SetRTPReceiverLocalPort(long rtp_receiver_handle, int port); /** *设置 RTP Receiver SSRC * * @param rtp_receiver_handle, CreateRTPReceiver * @param ssrc, 如果设置的话，这个字符串要能转换成uint32类型, 否则设置失败 * * @return {0} if successful */ public native int SetRTPReceiverSSRC(long rtp_receiver_handle, String ssrc); /** *创建 RTP Receiver 会话 * * @param rtp_receiver_handle, CreateRTPReceiver * @param reserve, 保留值，目前传0 * * @return {0} if successful */ public native int CreateRTPReceiverSession(long rtp_receiver_handle, int reserve); /** *获取 RTP Receiver RTP Socket本地端口 * * @param rtp_receiver_handle, CreateRTPReceiver * * @return 失败返回0, 成功的话返回响应的端口, 请在CreateRTPReceiverSession返回成功之后调用 */ public native int GetRTPReceiverLocalPort(long rtp_receiver_handle); /** *设置 RTP Receiver Payload 相关信息 * * @param rtp_receiver_handle, CreateRTPReceiver * * @param payload_type, 请参考 RFC 3551 * * @param encoding_name, 编码名, 请参考 RFC 3551, 如果payload_type不是动态的, 可能传null就好 * * @param media_type, 媒体类型, 请参考 RFC 3551, 1 是视频, 2是音频 * * @param clock_rate, 请参考 RFC 3551 * * @return {0} if successful */ public native int SetRTPReceiverPayloadType(long rtp_receiver_handle, int payload_type, String encoding_name, int media_type, int clock_rate); /** *设置 RTP Receiver 音频采样率 * * @param rtp_receiver_handle, CreateRTPReceiver * @param sampling_rate, 音频采样率 * * @return {0} if successful */ public native int SetRTPReceiverAudioSamplingRate(long rtp_receiver_handle, int sampling_rate); /** *设置 RTP Receiver 音频通道数 * * @param rtp_receiver_handle, CreateRTPReceiver * @param channels, 音频通道数 * * @return {0} if successful */ public native int SetRTPReceiverAudioChannels(long rtp_receiver_handle, int channels); /** *设置 RTP Receiver 远端地址 * * @param rtp_receiver_handle, CreateRTPReceiver * @param address, IP地址 * @param port, 端口 * * @return {0} if successful */ public native int SetRTPReceiverRemoteAddress(long rtp_receiver_handle, String address, int port); /** *初始化 RTP Receiver * * @param rtp_receiver_handle, CreateRTPReceiver * * @return {0} if successful */ public native int InitRTPReceiver(long rtp_receiver_handle); /** *UnInit RTP Receiver * * @param rtp_receiver_handle, CreateRTPReceiver * * @return {0} if successful */ public native int UnInitRTPReceiver(long rtp_receiver_handle); /** *Destory RTP Receiver Session * * @param rtp_receiver_handle, CreateRTPReceiver * * @return {0} if successful */ public native int DestoryRTPReceiverSession(long rtp_receiver_handle); /** *Destory RTP Receiver * * @param rtp_receiver_handle, CreateRTPReceiver * * @return {0} if successful */ public native int DestoryRTPReceiver(long rtp_receiver_handle);
PostAudioPacket（SmartPlayerJniV2.java）,投递音频包给外部Live source，目前仅于语音对讲使用：
/* * SmartPlayerJniV2.java * Author: https://daniusdk.com */ /** * 投递音频包给外部Live source, 注意ByteBuffer对象必须是DirectBuffer * * @param handle: return value from SmartPlayerOpen() * * @return {0} if successful */ public native int PostAudioPacket(long handle, int codec_id, java.nio.ByteBuffer packet, int offset, int size, long pts, boolean is_pts_discontinuity, java.nio.ByteBuffer extra_data, int extra_data_offset, int extra_data_size, int sample_rate, int channels);
GB28181接口调用
对应GB28181相关接口调用相关设计如下：
/* * SmartPublisherJniV2.java * Author: https://daniusdk.com */ /** * 设置GB28181 RTP Sender * * @param rtp_sender_handle, CreateRTPSender返回值 * @param rtp_payload_type, 对于GB28181 PS, 协议定义是96, 具体以SDP为准, RFC 3551有定义 * @param encoding_name, 编码名, 请参考 RFC 3551, 当前仅支持: "PS", 其他值返回失败 * @return {0} if successful */ public native int SetGB28181RTPSender(long handle, long rtp_sender_handle, int rtp_payload_type, String encoding_name); /** * 设置GB28181 RTP 收到的音频包回调 * @param handle * @param audio_packet_callback * @return */ public native int SetGB28181ReceiveAudioPacketCallback(long handle, NTAudioPacketCallback audio_packet_callback); /** * 启动 GB28181 媒体流 * * @return {0} if successful */ public native int StartGB28181MediaStream(long handle); /** * 停止 GB28181 媒体流 * * @return {0} if successful */ public native int StopGB28181MediaStream(long handle);
总结
以上Android平台GB28181设备接入设计探讨，除了上述设计外，模块还可以扩展实现实时静音、实时快照、按需录像、实时音量调节等，实现客制化的技术诉求。
