h.264的码流传输是基于目前有限的网络带宽来进行的，以目前的压缩效率来说，运动不算剧烈、细节不多的影像，在720p的情况下，1000kbps压缩损耗较少（psnr较大），能达到比较好的观赏效果，1080p则需要2000kbps。当然，随着图像运动剧烈程度加大，细节增多的情况，则需要更大的bps来保证图像效果。

另外由于图像序列中，并非所有的图像都有相同的细节，因此应该在细节多的图像上分配更多的bit，而细节少的图像则分配更少的bit。同一道理，在一张图像上，可能某些位置的细节较多，那就应该在那里分配跟多的bit，否则分配更少的bit。

h.264的编码码率控制就是考虑到以上的这些情况，制定了码率控制标准。以下以JVT-H017r3为例，分析h.264码率控制模块。

码率控制三个阶段

如前面所说，h.264码率控制可以分为三个阶段：

GOP级码率控制
Picture级码率控制
Basic Unit级码率控制

GOP级的码率控制

h.264的码流控制是建立在存在虚拟参考解码器的基础上的，即希望通过码率控制做到：编码端编码出来的码流，在经过设定好的bps传输后，解码端解码播放时是同步的（不延迟），下面的outflow可以看做是传输到解码端。

可以通过上图加以理解，途中为某个GOP在某一时刻的编码状态，Not coded 为未编码图像，coded为已编码图像，图像编码后会以Bit Stream(码流)的形式输出到Virtual Buffer中，这里的Virtual Buffer 并不一定实际存在于实际编码器中，而是算法虚拟出来的缓存区，主要是维护码流的输入与输出，在缓冲区中的码流会以某一速率进行输出（outflow）。

1. Virtual Buffer

对于Virtual Buffer的大小，是可计算的

$\begin{aligned} V_{i} (1) = {\begin{matrix} 0 & i = 1 \\ V_{i - 1} (N_{i - 1}) & o t h e r \end{matrix} \\ V_{i} (j) = V_{i} (j - 1) + b_{i} (j - 1) - \frac{R_{i} (j - 1)}{f} j = 2, 3, . . ., N_{i} \end{aligned}$

$i$

如果是视频序列的第一帧，那么以编码数为 $0$
如果是其他GOP的第一帧，那么缓存区大小则为上一个GOP剩下来的大小。
在其他情况下，缓存区大小为上一帧的缓存区大小加上上一帧编码后码流大小，减去码流流出的大小。

2. Remain Picture Bit

对于当前GOP未编码的图像的bit大小，是未知的，因此需要进行预测

$B_{i} (j) = {\begin{matrix} \frac{R_{i} (j)}{f} \times N_{i} - V_{i} (j) & j = 1 \\ B_{i} (j - 1) + \frac{R_{i} (j) - R_{i} (j - 1)}{f} \times (N_{i} - j + 1) - b_{i} (j - 1) & j = 2, 3, . . ., N_{i} \end{matrix}$

在设定初始值的时候，请注意 $- V i (j)$

在其他情况下，预测值B收到上一帧的预测值影像，也收到带宽的变化影响，最后当然要减去上一帧编码所用的bit数。

在码率没有变化的情况下，会被简化成：

$B_{i} (j) = B_{i} (j - 1) - b_{i} (j - 1)$

3. 设定I帧QP

对于一个GOP，首当其冲是要设定好它第一帧（I、IDR）的QP，如果是视频序列的第一帧，也就是第一个GOP的第一帧：

$Q P_{1} (1) = {\begin{matrix} 40 & b p p ⩽ l_{1} \\ 30 & l_{1} < b p p ⩽ l_{2} \\ 20 & l_{2} < b p p ⩽ l_{3} \\ 10 & b p p > l_{3} \end{matrix}$

$b p p = \frac{R_{1} (1)}{f \times N_{p i x e l}}$

$N_{p i x e l}$

对于QCIF/CIF， $l_{1} = 0.15, l_{2} = 0.45, l_{3} = 0.9$

对于大于CIF的图像， $l_{1} = 0.6, l_{2} = 1.4, l_{3} = 2.4$

而对于其他GOP，有

$Q P_{i} (1) = m a x {Q P_{i - 1} (1) - 2, m i n {Q P_{i - 1} (1) + 2, \frac{S u m P Q P (i - 1)}{N_{p} (i - 1)} - m i n {2, \frac{N_{i - 1}}{15}}}}$

平滑处理：

$Q P_{i} (1) = Q P_{i} (1) - 1 i f Q P_{i} (1) > Q P_{i - 1} (N_{i - 1} - L) - 2$

Picture级码率控制

1. 设定B帧QP

对于B帧，都是以B帧两端的参考帧的QP来计算当前B帧QP值。分两种情况，假设两个参考帧间的B帧数为 $L$

当 $L = 1$

$Q P_{i} (j + 1) = {\begin{matrix} \frac{Q P_{i} (j) + Q P_{i} (j + 2) + 2}{2} & i f Q P_{i} (j) \neq Q P_{i} (j + 2) \\ Q P_{i} (j) + 2 & O t h e r w i s e \end{matrix}$

当 $L > 1$

$Q P_{i} (j + k) = Q P_{i} (j) + α + m a x {m i n {\frac{Q P_{i} (j + L + 1) - Q P_{i} (j)}{L - 1}, 2 \times (k - 1)}, - 2 \times (k - 1)}$

$α = {\begin{matrix} - 3 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 3 \\ - 2 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 2 \\ - 1 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L - 1 \\ 0 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L \\ 1 & Q P_{i} (j + L + 1) - Q P_{i} (j) ⩽ & - 2 \times L + 1 \\ 2 & O t h e r w i s e \end{matrix}$

2. 设定P帧QP

P帧码率控制主要分为三步：

算出当前P帧的目标bit
通过目标bit算出当前帧PQ
把当前帧PQ与前面帧的PQ进行对比，做平滑处理

为了算出当前P帧的目标bit，需要的参数有三个：Virtual Buffer，Remain Picture Bit，Target Buffer Level。其中前两个参数在前面的GOP级的码率控制中已经获得，下面来引入讨论一个新的概念，目标缓存级别（Target Buffer Level）。

这个级别（Level）用来修正待编码图像对清空缓存区的贡献，基本思想是清空缓存区的工作应该更多由非参考图像来承担，由于B帧的QP普遍会比两端的P帧大，也就是相对来说会占用更小的缓存区域，那么P帧就可以降低QP来提高图像编码质量，那么P帧编码为码流后占用的缓存区会更大。Target Buffer Level 代表的就是P帧在缓存区的占用情况，当有B帧时的Target Buffer Level 会比没有B帧时的大。

计算方式如下：

$S_{i} (2) = V_{i} (2)$

$S_{i} (j + 1) = S_{i} (j) - \frac{S_{i} (2)}{N_{p} (i) - 1} + \frac{{\bar{W}}_{p, i} (j) \times (L + 1) \times R_{i} (j)}{f \times ({\bar{W}}_{p, i} (j) + {\bar{W}}_{b, i} (j) \times L)} - \frac{R_{i} (j)}{f}$

$\begin{aligned} {\bar{W}}_{p, i} (j) & = \frac{W_{p, i} (j)}{8} + \frac{7 \times {\bar{W}}_{p, i} (j - 1)}{8} \\ {\bar{W}}_{b, i} (j) & = \frac{W_{b, i} (j)}{8} + \frac{7 \times {\bar{W}}_{b, i} (j - 1)}{8} \\ W_{p, i} (j) & = b_{i} (j) \times Q P_{p, i} (j) \\ W_{b, i} (j) & = \frac{b_{i} (j) \times Q P_{b, i} (j)}{1.3636} \end{aligned}$

$W_{p}$

当没有B帧时，可以简化为：

$S_{i} (j + 1) = S_{i} (j) - \frac{S_{i} (2)}{N_{p} (i) - 1}$

这表明Target Buffer Level会越来越小，在当前GOP末尾会趋向于 $0$

最后结合Virtual buffer，Remain Picture bit，Target Buffer Level三者求出当前P帧的目标bit。

$\begin{aligned} {\tilde{T}}_{i} (j) & = \frac{R_{i} (j)}{f} + γ \times (S_{i} (j) - V_{i} (j)) \\ {\hat{T}}_{i} (j) & = \frac{W_{p, i} (j - 1) \times B_{i} (j)}{W_{p, i} (j - 1) \times N_{p, γ} + W_{b, i} (j - 1) \times N_{b, γ}} \\ T_{i} (j) & = β \times {\hat{T}}_{i} (j) + (1 - β) \times {\tilde{T}}_{i} (j) \end{aligned}$

当然还有上下界判断（略）。

得到目标bit后就可以求当前P帧的量化步长（求解下面一元二次方程），然后通过量化步长得到量化参数，

$T_{i} (j) = c_{1} \times \frac{{\tilde{σ}}_{i} (j)}{Q_{s t e p, i} (j)} + c_{2} \times \frac{{\tilde{σ}}_{i} (j)}{Q_{s t e p, i}^{2} (j)} - m_{h, i} (j)$

${\tilde{σ}}_{i} (j) = a_{1} \times σ_{i} (j - 1 - L) + a_{2}$

其中， $σ_{i} (j - l - L)$

最后也少不了对比上一P帧进行平滑QP的处理（略）。

Basic Unit级码率控制

这个其实跟“设定P帧QP”有同样的三个步骤，只是把Picture分开了成Basic Unit然后再一一计算，对当前Basic Unit进行码率控制、编码，然后轮到下一个Basic Unit。

首先需要求当前basic unit的目标bit数，

$\tilde{b_{l}} = T_{r} \times \frac{{\tilde{σ}}_{l, i}^{2} (l)}{\sum_{k = l}^{N_{u n i t}} {\tilde{σ}}_{l, i}^{2} (k)}$

其中， ${\tilde{σ}}_{i} (j)$

第二步要预测当前P帧的Basic Unit平均的头部大小（包括mv等）。

$\begin{aligned} {\tilde{m}}_{h d r, l} & = {\tilde{m}}_{h d r, l - 1} \times (1 - \frac{1}{l}) + \frac{{\hat{m}}_{h d r, l}}{l} \\ m_{h d r, l} & = {\tilde{m}}_{h d r, l} \times \frac{l}{N_{u n i t}} + m_{h d r, 1} \times (1 - \frac{l}{N_{u n i t}}); 1 ⩽ l ⩽ N_{u n i t} \end{aligned}$

其中， ${\tilde{m}}_{h d r, l}$

然后用目标bit减去header bit得到预测的纹理bit数。

${\hat{b}}_{l} = {\tilde{b}}_{l} - m_{h d r, l}$

最后就是求量化参数了，这个跟上面Picture级的一样，只是把复杂度换成了以Basic Unit为单位。

还有就是平滑（略）。

h.264码率控制

码率控制三个阶段

GOP级的码率控制

1. Virtual Buffer

2. Remain Picture Bit

3. 设定I帧QP

Picture级码率控制

1. 设定B帧QP

2. 设定P帧QP

Basic Unit级码率控制

热门文章

最新文章

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

h.264码率控制

码率控制三个阶段

GOP级的码率控制

1. Virtual Buffer

2. Remain Picture Bit

3. 设定I帧QP

Picture级码率控制

1. 设定B帧QP

2. 设定P帧QP

Basic Unit级码率控制

热门文章

最新文章

相关电子书