直播疑难杂症排查(5)— 音画不同步

简介:

1. 音画不同步的表现


很容易判断,就是画面和声音不匹配。


2. 音画同步的基础概念


首先我们要明白一个概念,虽然人的肉眼,很容易辨别音画是否同步的,但是机器则不然,对于播放器而言,它判断一帧视频和一帧音频是否要在同一个时间渲染和播放,依靠的完全是该数据携带的时间戳信息。


如果内容的生产端给音视频数据打的时间戳本身就有问题的话,播放器也往往无能为力了,因此,音画不同步问题,更多的时候,应该从生产端去排查原因。


3. 音画不同步的问题排查


3.1 采集源距离太远


如果音频源离麦克风距离太远,声音传播到麦克风的速度远小于画面(光速),那么,摄像头采集到画面后给出的时间戳,肯定要远小于麦克风采集到同一时刻音频给出的时间戳,因此会产生音画不同步问题。


解决方案:音频源尽可能离麦克风设备近一点。


3.2 采集设备内部问题


摄像头和麦克风采集音视频,在硬件上都会经过一些信号处理模块,如果处理延时不稳定的时候,则会导致输出数据的时间不稳定,从而导致应用层获取时间戳的时候产生误差,带来音画不同步问题。


解决方案:极少数硬件/机型才会有,需要根据采集参数(如采样率)做一些 Jitter 抖动的矫正。


3.3 时间戳没有在采集的时候获取 


如果音视频帧的时间戳不是在采集的时候获取,而是在后续的某个环节再获取,则非常大概率地会出现音视频不同步问题。


先举个简单的例子:


假设音频 A 和 视频 B 同时从设备中被采集出来,时间戳为:TA 和 TB,他们差值会很小,播放端收到后会认为是同一时刻的音视频数据,从而一起播放。


但是,当 音频 A 和 视频 B 分别经过某些算法处理模块后,我们 “不慎” 在处理后重新获取当前时间戳为了 TA2 和 TB2,那么,这个更新后的时间戳差值可能会非常大,导致音画不同步。


那么,一般大家会 “不慎” 在哪些地方更改了采集的时间戳呢 ?


- 音视频算法处理模块


比如:视频经过美颜、编码后,重新更新为了处理后的的时间戳。


- 缓冲区导致的不同步


多线程程序中,往往会在不同线程之间共享一些帧缓冲区,缓冲区会导致音视频对应关系发生变化,如果从缓冲区取数据后,抛弃掉了原有的时间戳,重新使用新的当前时间,那么,肯定会出现问题。


- 网络传输导致的不同步


由于网络的传输的延时、丢包等原因,同一时刻的音视频包不会正好同时准确到达,如果在接收到了数据后再打上当前的时间戳,则肯定也会出现不同步问题。


3.4 时间戳出现回退或者紊乱


曾经有遇到过一些音画不同步的流,我把它的音视频时间戳打印出来后显示如下的结果:


wKioL1ka_C6BW2NCAAIWJyjJMK0738.png

该码流的时间戳没有单调递增,而是频繁出现了回退,这样的流,会导致播放器出现频繁卡顿,因为播放器的 master 主时钟一般是单调递增的,当出现小于主时钟的视频帧后,一般会做丢弃处理,画面不更新但是音频还是在继续播放,从而导致看起来声音和画面并没有匹配上的问题。 


解决方案:排查推流端时间戳是否单调线性递增,或者排查服务端是否有对流的时间戳有过修改导致回退。


为了方便以后更好地定位该问题,大家可以修改 ffplay 源码,把读取到的每一帧音频、视频的时间戳打印出来看看,这里我给出我对 ffplay 的修改 commit 记录,大家可以参考一下:


https://github.com/Jhuster/pili-ffmpeg/commit/4d0476faba5016b291c2eed2c0a2cd6fe303bd50


3.5 播放端性能问题


比如低端机型软解 1080P 的高清码流,会存在解码不够及时的问题,导致部分视频解码完成后,已经远慢于当前的音频时钟,只能丢弃,从而导致画面更新不及时,与正在播放的音频无法匹配上,从而产生音画不同步的现象。


解决方案:使用硬解,选择较低清的码流,增大播放缓冲,等等。




本文转自 Jhuster 51CTO博客,原文链接:http://blog.51cto.com/ticktick/1926436,如需转载请自行联系原作者

相关文章
|
1月前
|
Unix Linux Go
流量回放工具之 Goreplay 安装及初级使用
【6月更文挑战第2天】流量回放工具之 Goreplay 安装及初级使用
98 3
|
11月前
|
存储 缓存 监控
线上服务发布抖动,该怎么解决呢
之前的文章分别讲了[优雅上线]和 [优雅下线],实际工作中做了优雅上下线后,服务发布后还是会有短暂的“抖动”,接口的响应时间急剧升高后又恢复正常,就和下面的监控图一样
128 0
线上服务发布抖动,该怎么解决呢
|
11月前
|
存储 API 开发工具
直播源码的神奇之处,直播回放功能
直播源码的功能有很多,之前的文章也列举了很多,那直播SDK和回放功能连在一起会将如何实现直播回放呢,今天我们来聊一聊这个技术点,感兴趣的朋友们可以关注下。
直播源码的神奇之处,直播回放功能
直播平台源码功能分享:直播回放功能的实现
这个直播平台源码功能可以将主播的直播内容录制下来保存在直播平台云端中,用户进入到主播首页就可以看到这个直播平台源码功能,点击后就可以播放主播以往储存的直播内容。
直播平台源码功能分享:直播回放功能的实现
|
开发者 UED
游戏陪玩源码开发,提升推送系统可用性的三种方式
游戏陪玩源码开发,提升推送系统可用性的三种方式
一对一直播平台开发,如何解决音画不同步问题
解决音画不同步问题的关键,就是找到问题发生的具体原因,然后制定针对性策略,保证一对一直播平台开发的效率。
|
编解码
何必冥思苦想,直播app开发中延迟的“罪魁祸首”在这
关注直播系统开发的朋友都知道,直播APP开发中的流媒体传输一般流程是采集、前处理、压缩、推流、拉流、解码、播放,这当中每个阶段都是十分重要的,所以为了保证用户观看的及时性,这些流程需要高度协调统一,来减少在线直播的延迟,那么还有那些方面是延迟的影响因素呢?
何必冥思苦想,直播app开发中延迟的“罪魁祸首”在这
|
运维 监控 算法
优酷技术实践:自动检测及修复视频播放异常
音视频播放器的工作内容可以描述为:根据流媒体协议还原音视频内容的过程。在还原的 每个阶段都存在丢失精度的风险,而最终呈现的结果也是一个主观的内容,这就给播放器输出结果的评估引入了一些痛点问题。
优酷技术实践:自动检测及修复视频播放异常
|
存储 视频直播
如何理解直播APP源码开发中的音视频同步
视频 直播APP源码的视频的播放过程可以简单理解为一帧一帧的画面按照时间顺序呈现出来的过程,就像在一个本子的每一页画上画,然后快速翻动的感觉。
|
Android开发
直播APP源码是如何实现音视频同步的
直播APP源码音视频同步主要用于在音视频流的播放过程中,让同一时刻录制的声音和图像在播放的时候尽可能的在同一个时间输出。