技术背景
时隔多年，在Enhancing RTMP, FLV With Additional Video Codecs And HDR Support（2023年7月31号正式发布）官方规范出来之前，如果RTMP要支持H.265，大家约定俗成的做法是扩展flv协议，CDN厂商携手给出的解决方案是给flv的videotag CodecID增加一个新类型(12)来表示h265(hevc)，和h264不同的地方是要解析HEVCDecoderConfigurationRecord，从HEVCDecoderConfigurationRecord中解析出vps, sps, pps. 有了vps, sps, pps, 就可以解码。
遗憾的是，尽管CodecID可以自定义，但CodecID只有4个bits，增加H.265尚可，如果后续再新增VP8、VP9、 AV1甚至H.266就很尴尬，这种尴尬持续了数年，直到官方发布了 Enhancing RTMP新的规范。值得欣慰的是，SRS等开源组织在服务侧第一时间进行了适配兼容。
技术实现
本文以大牛直播SDK的Windows平台RTMP直播推送和RTMP直播播放模块为例，考虑到老的扩展CodecID 12的场景依然使用，我们添加了个设置接口：
RTMP推送端，对应文件为SmartPublisherSDK\nt_smart_publisher_sdk.h：
/* * disable enhanced RTMP, SDK默认是开启enhanced RTMP的 * value: 1:disable, 0:enable */ NT_UINT32(NT_API *DisableEnhancedRTMP)(NT_HANDLE handle, NT_INT32 value);
RTMP播放端，对应文件为SmartPlayerSDK\smart_player_sdk.h：
/* * disable enhanced RTMP, SDK默认是开启enhanced RTMP的 * value: 1:disable, 0:enable */ NT_UINT32(NT_API *DisableEnhancedRTMP)(NT_HANDLE handle, NT_INT32 value);
Enhanced RTMP针对flv原有VideoTagHeader中FrameType(4bits)做了如下调整：
| IsExHeader(1bit)FrameType(3bits) |
VideoTagHeader的第一个字节的第0位来判断是否是Enhanced RTMP格式，如果这一位是1，那就是扩展头，Enhanced-Rtmp格式。
RTMP推送端生成HEVC的FLV VideoTagHeader，对应的sample判断代码如下：
/* * Author：daniusdk.com */ *p = 0x80; if (key) *p |= (1<<4); else *p |= (2 << 4); if (pts != dts) *p |= 1; else *p |= 3； p++; *p++ = 'h'; *p++ = 'v'; *p++ = 'c'; *p++ = '1'; //....
RTMP播放端，对应的sample判断代码如下：
/* * Author：daniusdk.com */ bool is_ex_header; if (p[0]&0x80) is_ex_header = true; else is_ex_header = false; if (is_ex_header) { auto video_fourcc = (p[1] << 24)|(p[2] << 16)|(p[3] << 8)|p[4]; if (HEVC == video_fourcc) { // hevc处理 }else if (VP9 == video_fourcc) { // vp9处理 }else if (AV1 == video_fourcc ) { // AV1处理 } }
启动Windows平台窗体采集，设置H.265硬编码，输入RTMP推流URL，实现Enhanced RTMP推送，播放端拉流播放，整体延迟如下：
可以看到，尽管开启了Enhanced RTMP，整体延迟还在毫秒级。
技术总结
鉴于目前RTMP扩展265这块，大多还是用的老的CodecID设置为12的模式，如果需要支持新的Enhanced RTMP，除了推送端和播放端外，RTMP服务端也需要做响应的调整，来适配这种情况，好在SRS等一线开源组织已经做了适配，我们也自己调整了nginx的代码，做了简单的测试，整体延迟满足预期，感兴趣的开发者可以单独跟我交流。
