GB/T28181-2022针对H.265编码细化及技术实现

简介: 新版国家标准GB/T28181-2022《公共安全视频监控联网系统信息传输、交换、控制技术要求》已于2022年12月30日发布,并将于2023年7月1日正式实施。

技术背景

新版国家标准GB/T28181-2022《公共安全视频监控联网系统信息传输、交换、控制技术要求》已于2022年12月30日发布,并将于2023年7月1日正式实施。


国家标准GB/T28181-2022《公共安全视频监控联网系统信息传输、交换、控制技术要求》规定了公共安全视频监控联网系统(以下简称“联网系统”)的互联结构,传输、交换、控制的基本要求和安全性要求,以及控制、传输流程和协议接口等技术要求。适用于公共安全视频监控联网系统的方案设计、系统检测、验收以及与之相关的设备研发、生产。其他视频监控联网系统可参照执行。


新版国家标准GB/T28181-2022《公共安全视频监控联网系统信息传输、交换、控制技术要求》代替了GB/T28181—2016《公共安全视频监控联网系统信息传输、交换、控制技术要求》,与GB/T28181—2016相比,除结构调整和编辑性改动外,相关主要技术有一些变化。例如更改了标准范围,删除了“联网系统信息”“数字接入”“模拟接入”“模数混合型监控系统”“数字型监控系统”“监控点”“监控中心”的术语和定义,更改了“SIP监控域”“非SIP监控域”“级联”“互联”的术语和定义,更改了“SIP监控域互联结构示意图”,更改了“联网系统通信协议结构图”,媒体流通道增加了H.265、G.722.1、AAC等等。

GB/T28181-2022规范描述

基于RTP的视音频数据PS封装


基于RTP的PS封装首先按照ISO/IEC 13818-1:2019将视音频流封装成PS包,再将PS包以负载的方式封装成RTP包。


进行PS封装时,应将母个悦team Map),系统头和PSM放置于PS包头之后、第一十 ti(System Header)和 PSM(Program Stream Map),系统头和PSM放置于PS包头之后、第一个PES包


之前。


典型的视频关键帧PS包结构如图C.1所示,其中 PESV为视频PES包,PESA为音频PES包,视频非关键帧的PS包结构中一般不包含系统头和PSM。PS包中各部分的具体数据结构参见ISO/IEC13818-1 :2019中的相关描述。

6ccd6a6e6c194f36a7c86cd8aa7c6aeb.png

系统头应包含对PS包中码流种类的描述,其中视频和音频的流ID(stream_id)取值如下:


a)视频流ID:0xEO;


b)音频流ID:0xCO。


针对本文件规定的几种视音频格式,PSM中流类型(stream_type)的取值如下:


a) MPEG-4视频流:0x10;


b)H.264视频流:0x1B;


c) SVAC视频流:0x80;


d)H.265视频流:0x24;


e)G.711A律音频流:0x90;


f)G.711U律音频流:0x91;


g)G.722.1音频流:0x92;


h)G.723.1音频流:0x93;


i)G.729音频流:0x99;


j)sVAC音频流:0x9B;


k)AAC音频流:0xOF。


PS包封装的其他具体技术规范详见ISO/IEC 13818-1:2019。


PS包的RTP封装格式参照IETF RFC 2250,RTP的主要参数设置如下:a)负载类型( payload type) :96;


b)编码名称(encoding name) ; PS;c)时钟频率(clock rate):90kHz;


d)SDP描述中“m”字段的“media”项:video。


基于RTP的视音频封装


H.265视频流的RTP封装


H.265的RTP载荷格式应符合IETF RFC 7798的相关规定。


H.265视频流RTP包的负载类型(Payload Type)标识号选定:从IETF RFC3551协议表5的动态范围(96~~127)中选择,建议定为100,根据实际需要填充。


H.265视频编﹑解码技术要求不再赘述,这里需要注意的是:为了保证码流解析的效率,比特流中应当在每个Ⅰ帧之前都出现相应的视频参数集(Video Param-eter Set,VPS)、序列参数集(Sequence Parameter Set, SPS)和图像参数集(Picture Parameter Set,PPS)。

技术实现

实际上,我们在实现GB28181-2016的时候,就已经支持了H.265编码,需要注意的是,由于H.265编码复杂度比较高,Android平台一般建议硬编码:

48dd317dd5d74fcb9867aa96f3012719.jpg

编码类型选择如下:

        //视频编码类型选择++++++++++
        videoEncodeTypeSelector = (Spinner)findViewById(R.id.videoEncodeTypeSelector);
        final String[] videoEncodeTypes = new String[]{"软编(H.264)", "硬编(H.264)", "硬编(H.265)"};
        ArrayAdapter<String> adapterVideoEncodeType = new ArrayAdapter<String>(this,
                android.R.layout.simple_spinner_item, videoEncodeTypes);
        adapterVideoEncodeType.setDropDownViewResource(android.R.layout.simple_spinner_dropdown_item);
        videoEncodeTypeSelector.setAdapter(adapterVideoEncodeType);
        videoEncodeTypeSelector.setOnItemSelectedListener(new AdapterView.OnItemSelectedListener() {
            @Override
            public void onItemSelected(AdapterView<?> parent, View view,
                                       int position, long id) {
                if (isRTSPPublisherRunning || isPushingRtmp || isGB28181StreamRunning || isRecording) {
                    Log.e(TAG, "Could not switch video encoder type during publishing..");
                    return;
                }
                videoEncodeType = position;
                Log.i(TAG, "[视频编码类型]Currently choosing: " + videoEncodeTypes[position] + ", videoEncodeType: " + videoEncodeType);
            }
            @Override
            public void onNothingSelected(AdapterView<?> parent) {
            }
        });

接口设计:

    /**
     * Author: daniusdk.com
     *
   * Set Video H.265(hevc) hardware encoder, if support H.265(hevc) hardware encoder, it will return 0(设置H.265硬编码)
   *
   * @param kbps: the kbps of different resolution.
   *
   * @return {0} if successful
   */
  public native int SetSmartPublisherVideoHevcHWEncoder(long handle, int kbps);


如果需要用native mediacodec编码,可以设置底层ndk硬编码模式:

  /**
   * 设置视频硬编码是否使用 Native Media NDK, 默认是不使用, 安卓5.0以下设备不支持
   * @param handle
   * @param is_native: 0表示不使用, 1表示使用, sdk默认是0.
   * @return {0} if successful
   */
  public native int SetNativeMediaNDK(long handle, int is_native);


除此之外,我们针对H.264、H.265硬编码还做了更精细化的处理:

  /*
  * 设置视频硬编码码率控制模式
  * @param hw_bitrate_mode: -1表示使用默认值, 不设置也会使用默认值, 0:CQ, 1:VBR, 2:CBR, 3:CBR_FD, 请参考:android.media.MediaCodecInfo.EncoderCapabilities
  * 注意硬编码和手机硬件有关,多数手机只支持部分码率模式, 另外硬编码设备差异很大,不同设备同一码率控制模式效果可能不一样
  * @return {0} if successful
  */
  public native int SetVideoHWEncoderBitrateMode(long handle, int hw_bitrate_mode);
  /*
   * 设置视频硬编码复杂度, 安卓5.0及以上支持
   * @param hw_complexity: -1表示不设置, 请参考:android.media.MediaCodecInfo.EncoderCapabilities.getComplexityRange() 和 android.media.MediaFormat.KEY_COMPLEXITY
   * 注意硬编码和手机硬件有关,部分手机可能不支持此设置
   * @return {0} if successful
   */
  public native int SetVideoHWEncoderComplexity(long handle, int hw_complexity);
  /*
   * 设置视频硬编码质量, 安卓9及以上支持, 仅当硬编码器码率控制模式(BitrateMode)是CQ(constant-quality mode)时才有效
   * @param hw_quality: -1表示不设置, 请参考:android.media.MediaCodecInfo.EncoderCapabilities.getQualityRange() 和 android.media.MediaFormat.KEY_QUALITY
   * 注意硬编码和手机硬件有关,部分手机可能不支持此设置
   * @return {0} if successful
   */
  public native int SetVideoHWEncoderQuality(long handle, int hw_quality);
  /*
   * 设置H.264硬编码Profile, 安卓7及以上支持
   * @param hw_avc_profile: 0表示使用默认值, 0x01: Baseline, 0x02: Main, 0x08: High, 0x10000: ConstrainedBaseline, 0x80000: ConstrainedHigh;
   * 注意: ConstrainedBaseline 和 ConstrainedHigh 可能多数设备不支持,
   * H.264推荐使用 High 或者 ConstrainedHigh, 如果您使用的手机硬解码解不了,那还是设置Baseline
   * 如果设置的Profile硬编码器不支持,应编码器会使用默认值
   * 具体参考:android.media.MediaCodecInfo.CodecProfileLevel
   * @return {0} if successful
   */
  public native int SetAVCHWEncoderProfile(long handle, int hw_avc_profile);
  /*
   * 设置H.264硬编码Level, 这个只有在设置了Profile的情况下才有效, 安卓7及以上支持
   * @param hw_avc_level: 0表示使用默认值, 0x100: Level3, 0x200: Level3.1, 0x400: Level3.2,
   * 0x800: Level4, 0x1000: Level4.1, 0x2000: Level4.2,
   * 0x4000: Level5, 0x8000: Level5.1,  0x10000: Level5.2,
   * 0x20000: Level6, 0x40000: Level6.1,  0x80000: Level6.2,
   * 如果设置的level太高硬编码器不支持,SDK内部会做相应调整
   * 注意: 640*480@25fps最小支持的是Level3, 720p最小支持的是Level3.1, 1080p最小支持的是Level4
   * 具体参考:android.media.MediaCodecInfo.CodecProfileLevel
   * @return {0} if successful
   */
  public native int SetAVCHWEncoderLevel(long handle, int hw_avc_level);
  /*
   * 设置视频硬编码最大码率, 安卓没有相关文档说明, 所以不建议设置,
   * @param hw_max_bitrate: 每秒最大码率, 单位bps
   * @return {0} if successful
   */
  public native int SetVideoHWEncoderMaxBitrate(long handle, long hw_max_bitrate);


外部调用如下:

int hevcHWKbps = setHardwareEncoderKbps(false, video_width_, video_height_);
hevcHWKbps = hevcHWKbps*fps/25;
Log.i(TAG, "hevcHWKbps: " + hevcHWKbps);
int isSupportHevcHWEncoder = libPublisher
    .SetSmartPublisherVideoHevcHWEncoder(publisherHandle, hevcHWKbps);
if (isSupportHevcHWEncoder == 0) {
  libPublisher.SetNativeMediaNDK(publisherHandle, 0);
  libPublisher.SetVideoHWEncoderBitrateMode(publisherHandle, 0); // 0:CQ, 1:VBR, 2:CBR
  libPublisher.SetVideoHWEncoderQuality(publisherHandle, 39);
  // libPublisher.SetVideoHWEncoderMaxBitrate(publisherHandle, ((long)hevcHWKbps)*1200);
  Log.i(TAG, "Great, it supports hevc hardware encoder!");
}


技术总结

GB28181-2022针对H.265编码说明,弥补了2016规范的不足,H.265编码,移动端软编特别是针对高分辨率帧率,性能瓶颈很大,更合理的方案是实现高效率的H.265硬编模式,GB28181-2022,让H.265支持终于体现在规范层面,有理有据,相信会有更广阔的用武之地。

相关文章
|
存储 编解码 算法
H.264编码及AAC编码基础 1
H.264编码及AAC编码基础
139 0
|
存储 编解码 算法
H.264编码及AAC编码基础 3
H.264编码及AAC编码基础
255 0
|
存储 编解码 算法
H.264编码及AAC编码基础 2
H.264编码及AAC编码基础
107 0
|
编解码 人工智能 Android开发
GB28181国标支持H.265编码吗?
好多开发者聊到GB28181的时候,不可避免的提到H.265编码国标平台是否支持?实际上,GB/T28181-2016里面,并未提及H.265编解码相关,具体参见以下说明:
107 0
|
Web App开发 存储 编解码
视频压缩标准的介绍以及视频压缩标准H.26x各个版本的介绍
视频压缩标准的介绍以及视频压缩标准H.26x各个版本的介绍
686 0
|
编解码 前端开发 Android开发
Android平台GB28181设备接入模块之按需编码和双码流编码
Android平台GB28181设备接入模块之按需编码和双码流编码
|
编解码 算法
白话H.265/HEVC和H.264/AVC编码结构
写在前面 在信息化时代,视频技术和应用的发展,特别是高清(HD)、超高清(UHD)、多视点(MultiView)视频、VR/AR技术的兴起,海量的视频信息已如潮涌般深入到我们工作和生活的方方面面。随着5G通信技术逐渐铺开落地,移动端设备的传输数据量会进一步增加。
2790 0
|
编解码
HEVC学习之琐事(一):HEVC编码结构分析
<p><span style="font-size:14px"><span style="white-space:pre"></span><span style="white-space:pre"></span><span style="white-space:pre"></span>在H.264中,编码的基本单元是宏块,对于抽样格式为4:2:0的宏块,它包含一个16x16的亮度样本块和两
4637 0
|
编解码
【HEVC学习与研究】38、HEVC编码过程中的块分割结构
【本文主要分为前后两部分,前半部分基本是Vivienne Sze、Madhukar BudagaviGary和J. Sullivan所编著的《High Efficiency Video Coding (HEVC) ——Algorithms and Architectures》的第三章前半部分的笔记,后半部分是在HM-10.0中对Intra预测时块分割相应的代码研究。
1605 0