H265（HEVC） nal 单元头介绍及rtp发送中的fu分组发送详解

首先来介绍下h265（HEVC）nal单元头，与h264的nal层相比，h265的nal unit header有两个字节构成，如下图所示：

从图中可以看出hHEVC的nal包结构与h264有明显的不同，hevc加入了nal所在的时间层的ＩＤ，取去除了nal_ref_idc，此信息合并到了naltype中，通常情况下F为0，layerid为0,TID为1。

        nal单元的类型有如下几种：

[cpp]  view plain  copy

 

 

1.  enum NalUnitType  
2. {  
3.   NAL_UNIT_CODED_SLICE_TRAIL_N = 0,   // 0  
4.   NAL_UNIT_CODED_SLICE_TRAIL_R,   // 1  
5.     
6.   NAL_UNIT_CODED_SLICE_TSA_N,     // 2  
7.   NAL_UNIT_CODED_SLICE_TLA,       // 3   // Current name in the spec: TSA_R  
8.     
9.   NAL_UNIT_CODED_SLICE_STSA_N,    // 4  
10.   NAL_UNIT_CODED_SLICE_STSA_R,    // 5  
11.   
12.   NAL_UNIT_CODED_SLICE_RADL_N,    // 6  
13.   NAL_UNIT_CODED_SLICE_DLP,       // 7 // Current name in the spec: RADL_R  
14.     
15.   NAL_UNIT_CODED_SLICE_RASL_N,    // 8  
16.   NAL_UNIT_CODED_SLICE_TFD,       // 9 // Current name in the spec: RASL_R  
17.   
18.   NAL_UNIT_RESERVED_10,  
19.   NAL_UNIT_RESERVED_11,  
20.   NAL_UNIT_RESERVED_12,  
21.   NAL_UNIT_RESERVED_13,  
22.   NAL_UNIT_RESERVED_14,  
23.   NAL_UNIT_RESERVED_15, NAL_UNIT_CODED_SLICE_BLA,       // 16   // Current name in the spec: BLA_W_LP  
24. NAL_UNIT_CODED_SLICE_BLA,       // 16   // Current name in the spec: BLA_W_LP  
25.   NAL_UNIT_CODED_SLICE_BLANT,     // 17   // Current name in the spec: BLA_W_DLP  
26.   NAL_UNIT_CODED_SLICE_BLA_N_LP,  // 18  
27.   NAL_UNIT_CODED_SLICE_IDR,       // 19  // Current name in the spec: IDR_W_DLP  
28.   NAL_UNIT_CODED_SLICE_IDR_N_LP,  // 20  
29.   NAL_UNIT_CODED_SLICE_CRA,       // 21  
30.   NAL_UNIT_RESERVED_22,  
31.   NAL_UNIT_RESERVED_23,  
32.   
33.   NAL_UNIT_RESERVED_24,  
34.   NAL_UNIT_RESERVED_25,  
35.   NAL_UNIT_RESERVED_26,  
36.   NAL_UNIT_RESERVED_27,  
37.   NAL_UNIT_RESERVED_28,  
38.   NAL_UNIT_RESERVED_29,  
39.   NAL_UNIT_RESERVED_30,  
40.   NAL_UNIT_RESERVED_31,  
41.   
42.   NAL_UNIT_VPS,                   // 32  
43.   NAL_UNIT_SPS,                   // 33  
44.   NAL_UNIT_PPS,                   // 34  
45.   NAL_UNIT_ACCESS_UNIT_DELIMITER, // 35  
46.   NAL_UNIT_EOS,                   // 36  
47.   NAL_UNIT_EOB,                   // 37  
48.   NAL_UNIT_FILLER_DATA,           // 38  
49.   NAL_UNIT_SEI,                   // 39 Prefix SEI  
50.   NAL_UNIT_SEI_SUFFIX,            // 40 Suffix SEI  
51.   NAL_UNIT_RESERVED_41,  
52.   NAL_UNIT_RESERVED_42,  
53.   NAL_UNIT_RESERVED_43,  
54.   NAL_UNIT_RESERVED_44,  
55.   NAL_UNIT_RESERVED_45,  
56.   NAL_UNIT_RESERVED_46,  
57.   NAL_UNIT_RESERVED_47,  
58.   NAL_UNIT_UNSPECIFIED_48,  
59.   NAL_UNIT_UNSPECIFIED_49,  
60.   NAL_UNIT_UNSPECIFIED_50,  
61.   NAL_UNIT_UNSPECIFIED_51,  
62.   NAL_UNIT_UNSPECIFIED_52,  
63.   NAL_UNIT_UNSPECIFIED_53,  
64.   NAL_UNIT_UNSPECIFIED_54,  
65.   NAL_UNIT_UNSPECIFIED_55,  
66.   NAL_UNIT_UNSPECIFIED_56,  
67.   NAL_UNIT_UNSPECIFIED_57,  
68.   NAL_UNIT_UNSPECIFIED_58,  
69.   NAL_UNIT_UNSPECIFIED_59,  
70.   NAL_UNIT_UNSPECIFIED_60,  
71.   NAL_UNIT_UNSPECIFIED_61,  
72.   NAL_UNIT_UNSPECIFIED_62,  
73.   NAL_UNIT_UNSPECIFIED_63,  
74.   NAL_UNIT_INVALID,  
75. };  

下面接收下fu分组打包方式，fu分组包头格式如下：

fus包头包含了两个字节的payloadhdr，一个字节的fu header，fu header与h264一样，结构如下图，包含开始位（1b）、停止位(1b)、futype(6b)

paylodhdr两个自己的赋值，其实就是把hevc帧数据的nal unit header的naltype替换为49即可，下面是从ffmpeg源码中截取出来的fu打包方式代码片段：

[cpp]  view plain  copy

 

 

1. static void nal_send(AVFormatContext *ctx, const uint8_t *buf, int len, int last_packet_of_frame)  
2. {  
3.      RTPMuxContext *rtp_ctx = ctx->priv_data;  
4.      int rtp_payload_size = rtp_ctx->max_payload_size - RTP_HEVC_HEADERS_SIZE;  
5.      int nal_type = (buf[0] >> 1) & 0x3F;  
6.   
7.         /* send it as one single NAL unit? */  
8.         if (len <= rtp_ctx->max_payload_size) //小于对定的最大值时，直接发送（最大值一般小于mtu）  
9.      {  
10.          /* use the original NAL unit buffer and transmit it as RTP payload */  
11.         ff_rtp_send_data(ctx, buf, len, last_packet_of_frame);  
12.           
13.     }  
14.     else //大于最大值时进行fu分组发送  
15.     {  
16.         /* 
17.                     create the HEVC payload header and transmit the buffer as fragmentation units (FU) 
18.                        
19.                     0                   1 
20.                     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 
21.                     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
22.                     |F|   Type    |  LayerId  | TID | 
23.                     +-------------+-----------------+ 
24.                        
25.                         F       = 0 
26.                         Type    = 49 (fragmentation unit (FU)) 
27.                         LayerId = 0 
28.                         TID     = 1 
29.         */  
30.         rtp_ctx->buf[0] = 49 << 1;  
31.         rtp_ctx->buf[1] = 1;  
32.            //此处为paylaodhdr,规范赋值应该是替换hevc数据nal 的payloadhdr的type  
33.             //rtp_ctx->buf[0] = (buf[0] &0x81) | (49<<1);  
34.        //rtp_ctx->buf[1] = buf[1]  
35.         /* 
36.             create the FU header 
37.                            
38.             0 1 2 3 4 5 6 7 
39.             +-+-+-+-+-+-+-+-+ 
40.             |S|E|  FuType   | 
41.             +---------------+ 
42.                            
43.                 S       = variable 
44.                 E       = variable 
45.                 FuType  = NAL unit type 
46.         */  
47.         rtp_ctx->buf[2] = nal_type;  
48.         /* set the S bit: mark as start fragment */  
49.         rtp_ctx->buf[2] |= 1 << 7;       
50.         /* pass the original NAL header */  
51.         //此处要注意，当是分组的第一报数据时，应该覆盖掉前两个字节的数据，h264要覆盖前一个字节的数据，即是第一包要去除hevc帧数据的paylaodhdr  
52.         buf += 2;  
53.         len -= 2;     
54.         while (len > rtp_payload_size)   
55.         {  
56.             /* complete and send current RTP packet */  
57.                 memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, rtp_payload_size);  
58.             ff_rtp_send_data(ctx, rtp_ctx->buf, rtp_ctx->max_payload_size, 0);  
59.               
60.                 buf += rtp_payload_size;  
61.             len -= rtp_payload_size;  
62.               
63.                 /* reset the S bit */  
64.                 rtp_ctx->buf[2] &= ~(1 << 7);  
65.               
66.         }  
67.       
68.          /* set the E bit: mark as last fragment */  
69.          rtp_ctx->buf[2] |= 1 << 6;  
70.       
71.          /* complete and send last RTP packet */  
72.          memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, len);  
73.         ff_rtp_send_data(ctx, rtp_ctx->buf, len + 2, last_packet_of_frame);  
74.   
75.     }  
76. }  

通过rtp发送hevc视频数据，当hevc帧数据大于mtu时，应该进行fu分组发送，从上面代码流程就是对超过max_payload_size数据进行fu分组的流程，这个h264 fu-A很类似，很容易理解。

参考规范：

https://tools.ietf.org/html/draft-ietf-payload-rtp-h265-14

ffmpeg相关代码

https://www.ffmpeg.org/doxygen/2.5/rtpenc__hevc_8c_source.html