FLV协议5分钟入门浅析

FLV协议简介

FLV（Flash Video）是一种流媒体格式，因其体积小、协议相对简单，很快便流行开来，并得到广泛的支持。

常见的HTTP-FLV直播协议，就是使用HTTP流式传输通过FLV封装的音视频数据。对想要了解HTTP-FLV的同学来说，了解FLV协议很有必要。

概括地说，FLV 由 FLV header 跟 FLV file body 两部分组成，而 FLV file body 又由多个 FLV tag组成。

FLV = FLV header + FLV file body
FLV file body = PreviousTagSize0 + Tag1 + PreviousTagSize1 + Tag2 + ... + PreviousTagSizeN-1 + TagN

FLV tag又分为3种类型：

• Video Tag：存放视频相关数据；
• Audio Tag：存放音频相关数据；
• Script Tag：存放音视频元数据；

在实际讲解FLV协议前，首先对单位进行约定：

| 类型 | 定义 |
| :-------- | :--------|
| 0x... | 16进制数据 |
| SI8 | 有符号8位整数 |
| SI16 | 有符号16位整数 |
| SI24 | 有符号24位整数 |
| SI32 | 有符号32位整数 |
| STRING | Sequence of Unicode 8-bit characters (UTF-8), terminated with 0x00 (unless otherwise specified) |
| UI8 | 无符号8位整数 |
| UI16 | 无符号16位整数 |
| UI24 | 无符号24位整数 |
| UI32 | 无符号32位整数 |
| xxx [ ] | 类型为xxx的数组 |
| xxx [n] | 类型为xxx的数组，数组长度为n |

FLV header

FLV header由如下字段组成，其中：

1. 前三个字节内容固定是FLV
2. 最后4个字节内容固定是9（对FLV版本1来说）

FLV file body

FLV file body很有规律，由一系列的TagSize和Tag组成，其中：

1. PreviousTagSize0 总是为0；
2. tag 由tag header、tag body组成；
3. 对FLV版本1，tag header固定为11个字节，因此，PreviousTagSize（除第1个）的值为 11 + 前一个tag 的 tag body的大小；

FLV tags

FLV tag由 tag header + tag body组成。

tag header如下，总共占据11个字节：

In playback, the time sequencing of FLV tags depends on the FLV timestamps only. Any timing mechanisms built into the payload data format are ignored.

Audio tags

定义如下所示：

备注：

If the SoundFormat indicates AAC, the SoundType should be set to 1 (stereo) and the SoundRate should be set to 3 (44 kHz). However, this does not mean that AAC audio in FLV is always stereo, 44 kHz data. Instead, the Flash Player ignores these values and extracts the channel and sample rate data is encoded in the AAC bitstream.

AACAUDIODATA

当 SoundFormat 为10时，表示音频采AAC进行编码，此时，SoundData的定义如下：

The AudioSpecificConfig is explained in ISO 14496-3. Note that it is not the same as the contents of the esds box from an MP4/F4V file. This structure is more deeply embedded.

关于AudioSpecificConfig

伪代码如下：参考这里

5 bits: object type
if (object type == 31)
    6 bits + 32: object type
4 bits: frequency index
if (frequency index == 15)
    24 bits: frequency
4 bits: channel configuration
var bits: AOT Specific Config

定义如下：

Video tags

定义如下：

AVCVIDEOPACKE

当 CodecID 为 7 时，VideoData 为 AVCVIDEOPACKE，也即 H.264媒体数据。

AVCVIDEOPACKE 的定义如下：

这里有几点稍微解释下：

1. NALU：H.264中，将数据按照特定规则格式化后得到的抽象逻辑单元，称为NALU。这里的数据既包括了编码后的视频数据，也包括视频解码需要用到的参数集（PPS、SPS）。
2. AVCDecoderConfigurationRecord：H.264 视频解码所需要的参数集（SPS、PPS）
3. CTS：当B帧的存在时，视频解码呈现过程中，dts、pts可能不同，cts的计算公式为 pts - dts/90，单位为毫秒；如果B帧不存在，则cts固定为0；

PPS、SPS这里先不展开。

Script Data Tags

Script Data Tags通常用来存放跟FLV中音视频相关的元数据信息（onMetaData），比如时长、长度、宽度等。它的定义相对复杂些，采用AMF（Action Message Format）封装了一系列数据类型，比如字符串、数值、数组等。

SCRIPTDATAOBJECT 定义如下：

SCRIPTDATAVALUE 的定义如下：

可以看到，Script Data Tag 的定义相对复杂，下面通过onMetaData进行进一步讲解。

onMetaData

onMetaData中包含了音视频相关的元数据，封装在Script Data Tag中，它包含了两个AMF。

第一个AMF：

• 第1个字节：0x02，表示字符串类型
• 第2-3个字节：UI16类型，值为0x000A，表示字符串的长度为10（onMetaData的长度）；
• 第4-13个字节：字符串onMetaData对应的16进制数字（0x6F 0x6E 0x4D 0x65 0x74 0x61 0x44 0x61 0x74 0x61）；

第二个AMF：

• 第1个字节：0x08，表示数组类型；
• 第2-5个字节：UI32类型，表示数组的长度，onMetaData中具体包含哪些属性是不固定的。

• 第6个字节+：比如duration，则：

  • 第6-9个字节：0x0008，表示长度为8个字节；
  • 第10-17个字节：0x6475 7261 7469，表示 duration 这个字符串；
  • 第18个字节：0x00，表示为数值类型；
  • 第19-26个字节：0x...，表示具体的时长；

更多onMetaData字段的定义：

写在后面

FLV协议本身不算复杂，理解上的困难，更多时候来自音视频编解码相关的知识，比如H.264、AAC相关知识，建议不懂的时候自行查下。此外，FLV的字节序为大端序，在做协议解析的时候一定要注意。

本文为讲解方便，部分内容可能不够严谨，如有错漏敬请指出。

相关链接

video_file_format_spec_v10.pdf
https://www.adobe.com/content/dam/acom/en/devnet/flv/video_file_format_spec_v10.pdf

MPEG-4 Part 3
https://en.wikipedia.org/wiki/MPEG-4_Part_3#Audio_Profiles

flv文件分析
https://www.jianshu.com/p/e290dca02979

H.264再学习 -- 详解 H.264 NALU语法结构
https://blog.csdn.net/qq_29350001/article/details/78226286