带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(1) https://developer.aliyun.com/article/1243283?groupCode=taobaotech
音视频评测
视频首帧时长
视频首帧时长是指从用户从点击视频入口的封面开始到视频画面渲染成功的时间间隔。
通常方式是通过监听代码返回的首帧事件减去播放事件的触发时间得到首帧时长，但是实际结果可能与用户主观感受可能有差异。
线下评测方案基于录屏的形式通过评测算法计算返回结果，优点是结果与用户主观感受一致。但难点在于对不同场景的起始画面到首帧画面的识别。进入视频流的场景非常多样，不同打开路径动画、缓存策略、是否有封面图占位等对于识别都会带来不确定性和识差。
在推流时插入SEI帧并使用ocr算法来识别首帧时间是一种可靠的方案，但一方面这这种方案需要预先对视频进行处理，每次操作成本较高；另一方面，对于无法控制被测视频的内容的场景并不适用。
为了兼容识别得到不同场景的起始、首帧画面时间，需要结合多种策略来判断起始位置，目前淘宝直播质量团队自研了一套智能算法能精准计算各种播放场景切换的首帧时长。
端到端时延
端到端时延指从源主机到目的主机的总共时延，在直播过程中每个节点或多或少会产生时延。
在电商场景时延大了可能会影响用户体验和业务效果，尤其在会议和连麦场景用户对延时容忍度更低，根据T-REC-G.114国际标准规定，延时超过150毫秒表示已经开始影响用户体验，用户可以容忍的最高延时是400毫秒。
基于SEI传输的图像编解码时延比较可靠的测试方法，在推流时插入SEI帧，在播放端解码拿到SEI帧与当前系统时钟相减得到时延，但是此方法是侵入式。
无侵入的获取时延方案：
1. 音频时延测试方法：制造尖锐声音，通过电脑采集两个终端的音频，计算音频峰值差。
2. 视频时延测试方法：推流终端对准计时器，同拍摄秒表和播放终端画面，获取同步的源时间和播放时间快照，计算时间差。
由于网络及缓冲等引起的卡顿和快播追帧会导致播放过程中时延是动态变化的，因此我们需要获得一段时间内的时延序列值。利用声卡屏蔽环境噪音，结合自动化拍摄拓扑可以程式化拍摄在一段固定时间之后稳定的被测特征视频，获得端到端的图像和音频的时延序列。
带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(3) https://developer.aliyun.com/article/1243281?groupCode=taobaotech
