直播疑难杂症排查(8)— 播放杂音、噪音、回声问题

简介:

1.  问题现象


常见的音频问题现象描述如下:


- 电流音,爆音,滋滋声或者嘟嘟声

- 声音断断续续,听不清楚

- 回声,能听到自己说话的声音


2. 问题排查


2.1 参数配置问题


上面也有提到,音频是一个特别敏感的东西,涉及到许多参数配置,一旦配置不太匹配,就会导致声音听起来非常诡异(比如:采样率是 32000Hz 的音频,给播放器配置为 8000Hz 或者 44100Hz,就明显会出现音频慢放或者快放的效果)。


常见的音频参数和基本原理,可以参考我的这篇文章,这里就不再赘述了:《Android音频开发(1):基础知识》


我们只需要注意的是,无论是采集和播放,都要给系统的 API 以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。


2.2 代码层面的原因


常见的代码层面的问题有如下几种:


- 音频 buffer 大小不匹配,一段 1024 bytes 的音频,放到了 2048 bytes 的数组,导致尾部有随机数

- 音频 resample 重采样的算法问题,导致采样出来的数据出了问题

- Android 的 ByteBuffer 取出数组,是不能直接用 .array() 方法的,而需要用 .get() 方法

- iOS 系统,其他 app 通过系统 API 更改了 AudioSession 采样率的配置


2.3 网络波动


视频是一帧一帧连续的图像构成的,在播放过程中,如果无法按时渲染,则会出现卡顿的效果;如果丢失几帧画面,则会出现快进效果。


而音频是流式的,虽然也被切分为了一个个音频帧,但如果无法按时播放或者连续丢失较多的音频帧,则会明显听到断断续续的声音出现。特别是在弱网、丢包率高等不稳定网络环境下,很容易出现这种情况。


2.4 回声消除


回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。


这样的场景下,一般需要通过系统的回声消除 API,或者第三方回声消除库(如:speexdsp,webrtc 等)进行处理。


注意:很多 Android 机型硬件自带的回声消除效果并不是很好。


2.5 混音越界


音频的 PCM 数据,通常用 short 数组来存放,当我们做一些多路音频的混音功能的时候,如果不注意处理 short 类型的大小越界,则往往带来爆音的问题。下面是一段参考 webrtc 的混音代码,专门针对混音越界做了简单处理。



本文转自 Jhuster 51CTO博客,原文链接:http://blog.51cto.com/ticktick/1933255,如需转载请自行联系原作者

相关文章
|
6月前
|
Web App开发 编解码 资源调度
在阿里云直播解决方案中,当使用ARTC协议观看直播并进行清晰度切换时出现画面卡顿或马赛克现象,可能存在以下几种原因
【6月更文挑战第30天】阿里云直播中,ARTC协议下清晰度切换出现卡顿或马赛克可能由网络带宽、缓冲策略、转码效率、播放器解码、协议特点及服务器资源调度引起。解决措施包括优化网络、智能切换算法、播放器与服务器优化。通过监控和日志分析定位问题,参照官方最佳实践进行优化。
239 1
|
7月前
|
存储 编解码 API
【视频花屏问题】解码天书:深入理解视频流花屏现象及其解决方案
【视频花屏问题】解码天书:深入理解视频流花屏现象及其解决方案
1377 7
|
7月前
文字转语音后的音频结束以后,再播放一段时间的背景音乐。什么方案能实现
【2月更文挑战第13天】文字转语音后的音频结束以后,再播放一段时间的背景音乐。什么方案能实现
67 2
|
XML 存储 编解码
浅浅地优化下视频流播放体验
浅浅地优化下视频流播放体验
624 0
|
缓存 Java 索引
浅浅地优化下视频流播放体验(下)
浅浅地优化下视频流播放体验
348 0
|
编解码 网络协议 算法
实战排查|为什么遮挡推流摄像头,会导致播放绿屏?
做音视频的小伙伴们多少都遇到过奇怪的 BUG(如:卡顿、花屏、绿屏、变声等),表象上矛盾点颇多,推理得出的结论都是:“不应该啊!”,最终你抽丝剥茧,发现真相只有一个:“事出反常必有妖”!
实战排查|为什么遮挡推流摄像头,会导致播放绿屏?
|
视频直播 UED 内存技术
开发网络视频直播系统过程中的那些关键点
“Syno Japan与媒体Carts合作在日本国内发起了“电竞相关认知/消费调查”,调查表示整个2018年是日本的电子竞技元年,也是日本国内逐渐认知电竞的一年。”由此可见,电竞在日本仅仅处于起步阶段,对于中国和韩国等地来说早已成为了大众的“生活必需品”,尤其是在网络视频直播系统带动下的游戏电竞直播,更是受到了人们的广泛关注。
1554 0