音视频同步的方法：深入探索基于FFmpeg的音视频同步策略（二）https://developer.aliyun.com/article/1465276
5.3 PID 控制
PID控制器是一种广泛应用于工业控制系统的反馈控制器。PID是比例（Proportional）、积分（Integral）和微分（Derivative）的首字母缩写，这三个元素构成了PID控制器的基本结构。
- 比例（P）：比例控制是最简单的控制方式，它的输出与误差成正比。比例增益越大，系统的响应速度越快，但如果增益过大，系统可能会变得不稳定。
- 积分（I）：积分控制是根据误差的累积值来进行控制，它可以消除系统的静态误差，但过大的积分增益可能会导致系统响应过慢。
- 微分（D）：微分控制是根据误差的变化率来进行控制，它可以预测误差的变化趋势，从而提前进行调整。微分控制可以提高系统的稳定性和响应速度，但过大的微分增益可能会放大系统中的噪声。
PID控制器通过调整这三个元素的权重，可以实现对系统的精确控制。在实际应用中，PID控制器可以用于调节各种参数，例如温度、压力、速度、位置等。
在音视频同步的场景中，PID控制器可以用来动态调整播放速度。比例控制可以快速减小PTS的误差，积分控制可以消除持续的误差，而微分控制可以预测误差的变化趋势，从而提前进行调整。
在C++中实现一个简单的PID控制器可以参考以下代码。这个例子中的PID控制器用于调整音频的采样率以实现音视频同步。
#include <iostream> #include <cmath> // 假设我们有一个音频帧和一个视频帧 double audioPTS; double videoPTS; // 假设我们有一个函数来获取音频帧的采样率 double getSampleRate(); // 假设我们有一个函数来设置音频帧的采样率 void setSampleRate(double rate); // PID控制器的参数 double Kp = 0.1; // 比例增益 double Ki = 0.01; // 积分增益 double Kd = 0.01; // 微分增益 // PID控制器的状态 double integral = 0; // 积分项 double prev_error = 0; // 上一次的误差 int main() { // 计算PTS差 double error = audioPTS - videoPTS; // 计算积分项 integral += error; // 计算微分项 double derivative = error - prev_error; // 计算PID控制器的输出 double output = Kp * error + Ki * integral + Kd * derivative; // 获取当前的采样率 double currentSampleRate = getSampleRate(); // 根据PID控制器的输出调整采样率 setSampleRate(currentSampleRate * (1 + output)); // 更新上一次的误差 prev_error = error; return 0; }
这个代码示例假设getSampleRate和setSampleRate函数已经存在，并且可以用来获取和设置音频帧的采样率。在实际的应用中，你可能需要使用FFmpeg的API来实现这些功能。
此外，这个示例使用了一个简单的PID控制器来调整采样率。在实际的应用中，你可能需要根据具体的情况来调整PID控制器的参数（Kp、Ki和Kd）。
最后，请注意这个示例没有考虑到其他可能影响同步的因素，例如网络延迟和解码器的行为。在实际的应用中，你可能需要考虑这些因素。
5.4 对比
| 方法 | 精度 | 复杂性 | 响应性 | 稳定性 | 灵活性 |
| PID控制 | 高 | 高 | 高 | 高 | 高 |
| 调整采样率 | 中 | 中 | 中 | 中 | 中 |
| 添加延迟 | 低 | 低 | 低 | 低 | 低 |
- 精度：PID控制器可以提供高精度的同步，因为它可以动态调整播放速度以减小PTS的误差。直接调整采样率的精度较低，因为它只能在一开始就设定好播放速度。添加延迟的精度最低，因为它只能在一开始就设定好延迟时间。
- 复杂性：PID控制器的实现相对复杂，需要调整PID控制器的参数并实时计算误差、积分和微分。直接调整采样率的实现较简单，只需要计算PTS的差并根据差值调整采样率。添加延迟的实现最简单，只需要在一开始就设定好延迟时间。
- 响应性：PID控制器的响应性最高，因为它可以实时调整播放速度以应对PTS的变化。直接调整采样率的响应性较低，因为它只能在一开始就设定好播放速度。添加延迟的响应性最低，因为它只能在一开始就设定好延迟时间。
- 稳定性：PID控制器的稳定性最高，因为它可以通过微分控制来提高系统的稳定性。直接调整采样率的稳定性较低，因为它可能会因为PTS的突然变化而导致播放速度的突然变化。添加延迟的稳定性最低，因为它无法应对PTS的变化。
- 灵活性：PID控制器的灵活性最高，因为它可以根据实际情况调整PID控制器的参数。直接调整采样率的灵活性较低，因为它只能在一开始就设定好播放速度。添加延迟的灵活性最低，因为它只能在一开始就设定好延迟时间。
六、疑问解答
6.1 怎么保证丢弃的帧用户觉察不到？
音视频同步技术已经非常成熟，大多数情况下，你在观看视频时，可能并不会察觉到丢帧的情况。这是因为音视频播放器会使用一系列复杂的策略来保持音视频同步，而且这些策略通常会尽量避免对用户体验产生明显的影响。
以下是一些可能的策略：
- 调整播放速度：播放器可以稍微调整音频或视频的播放速度，使其与另一方同步。这种调整通常非常微小，以至于用户几乎无法察觉。
- 插入或删除帧：在某些情况下，播放器可能会选择丢弃一些帧，或者插入一些额外的帧，以保持同步。这种策略通常会在用户无法察觉的情况下进行。
- 使用缓冲区：播放器通常会使用一个缓冲区来存储即将播放的音视频数据。通过控制缓冲区中的数据播放速度，播放器可以有效地处理网络延迟等问题，保持音视频同步。
- 使用时间戳：音视频数据在编码时，通常会附带一个时间戳，表示该帧应该在什么时候播放。播放器可以使用这些时间戳来保持音视频同步。
总的来说，虽然丢帧是一种可能的同步策略，但在实际的应用中，播放器通常会使用更复杂的策略，以保持音视频同步，同时尽量避免对用户体验产生影响。
6.2 音频缓冲区和音频设备缓冲区会冲突么？
音频设备内部确实有一个缓冲区，这个缓冲区主要用于存储即将播放的音频数据。当我们将音频数据发送给音频设备时，音频设备会将这些数据存储在其内部的缓冲区中，然后按照一定的速度从缓冲区中取出数据进行播放。
然而，这并不意味着我们不能在音频设备之外再设置一个缓冲区。实际上，音频设备的内部缓冲区和我们设置的外部缓冲区是两个不同的概念，它们各自承担不同的任务。
音频设备的内部缓冲区主要用于保证音频的连续播放，避免因为数据传输延迟而导致的播放中断。而我们设置的外部缓冲区则主要用于控制音频的播放速度，以实现音视频同步。
在音视频同步的过程中，我们可以通过控制外部缓冲区中的数据量，以及数据送入音频设备的速度，来调整音频的播放速度。这种方法并不会与音频设备的内部缓冲区产生冲突，因为这两个缓冲区各自承担不同的任务，而且它们之间的数据传输是有序的：我们首先将数据从外部缓冲区送入音频设备，然后音频设备再从其内部缓冲区中取出数据进行播放。
6.3 删除帧可以理解，插入额外帧指哪些帧？
插入额外的帧通常是指在视频流中添加一些新的帧，以保持音视频同步。这些额外的帧可以是重复的帧，也可以是通过插值生成的新的帧。
- 重复帧：这是最简单的方法，就是将前一帧或后一帧复制一份作为新的帧。这种方法的优点是实现简单，但缺点是可能会导致视频的播放不流畅，因为用户可能会察觉到帧的重复。
- 插值帧：这是一种更复杂的方法，需要使用一些算法（例如，运动插值算法）来生成新的帧。插值帧是根据前后两帧的内容计算出来的，它代表了前后两帧之间的一个过渡状态。这种方法的优点是可以生成更自然、更流畅的视频，但缺点是实现复杂，计算量大。
在实际的应用中，选择哪种方法主要取决于具体的需求和条件。例如，如果对视频的播放流畅性要求很高，那么可能会选择使用插值帧；反之，如果对实现复杂度和计算量有限制，那么可能会选择使用重复帧。
6.4 调整帧率具体怎么做，是调整解码器帧率？
调整帧率是另一种常见的音视频同步策略。帧率，也就是每秒钟显示的帧数，是衡量视频流畅度的重要指标。在音视频同步的过程中，我们可以通过调整音频或视频的帧率来达到同步的目的。
例如，假设我们有一个音频流和一个视频流，它们的播放速度不同步。如果视频的帧率比音频的帧率高，那么视频会比音频播放得更快，导致不同步。在这种情况下，我们可以通过减小视频的帧率（也就是减少每秒钟显示的帧数）来降低视频的播放速度，从而使视频与音频同步。
同样，如果音频的播放速度比视频快，我们可以通过增加视频的帧率来提高视频的播放速度，从而使视频与音频同步。
需要注意的是，调整帧率并不一定意味着改变解码器的解码帧率。解码器的解码帧率通常是固定的，由视频的编码格式决定。调整帧率通常是通过丢弃一些帧或插入一些额外的帧来实现的，这不会改变解码器的解码帧率，但会改变最终显示给用户的帧率。
6.5 如何判断用户无法觉察的时间区间？
用户对于视频流畅性的感知能力会受到多种因素的影响，包括视频的内容、用户的注意力、用户的视觉敏感度等。因此，很难给出一个精确的区间来描述用户能够察觉到的帧插入或删除的数量。然而，我们可以根据一些常见的视觉感知原理，给出一些大致的指导。
- 视觉暂留效应：人眼有一种视觉暂留效应，即在一瞬间看到的图像会在短时间内保留在视网膜上。这个时间通常在100-200毫秒之间。因此，如果在这个时间内插入或删除一帧，用户可能不会察觉到。
- 帧率和视觉流畅性：人眼对于帧率的感知能力有一定的限制。一般来说，当帧率超过24帧/秒时，人眼就会感觉到视频是连续的，而不是由一帧帧单独的图像组成。因此，如果在一秒钟内插入或删除少于24帧，用户可能不会察觉到。
- 内容和注意力：用户对于视频的注意力和视频的内容也会影响他们的感知能力。例如，如果视频的内容变化很快，或者用户的注意力分散，那么他们可能不会察觉到少量的帧插入或删除。
总的来说，如果你想要在用户无法察觉的情况下插入或删除帧，你应该尽量保持插入或删除的帧数较少（例如，每秒钟不超过24帧），并且尽量在用户的视觉暂留效应的时间内（例如，100-200毫秒）进行操作。然而，这只是一个大致的指导，具体的效果可能会因为多种因素而有所不同。
6.6 缓冲区的数据结构选择？
在音视频处理中，缓冲区通常使用的数据结构是队列或环形缓冲区。这是因为音视频数据的处理通常需要满足先入先出（FIFO）的原则，即先解码的数据先播放，后解码的数据后播放，这与队列和环形缓冲区的特性相符。
- 队列：队列是一种先入先出（FIFO）的数据结构，适合用于存储需要按照特定顺序处理的数据。在音视频处理中，我们可以将解码后的音视频帧存入队列，然后按照顺序从队列中取出帧进行播放。
- 环形缓冲区：环形缓冲区是一种特殊的队列，它的头尾是相连的，形成一个环形。环形缓冲区的优点是可以有效地利用存储空间，当缓冲区满时，新的数据可以覆盖旧的数据。在音视频处理中，如果我们希望在缓冲区满时能够继续存储新的音视频帧，而且不关心被覆盖的旧帧，那么可以使用环形缓冲区。
链表、数组和二叉树等其他数据结构在音视频处理的缓冲区中使用较少。链表和数组在插入和删除数据时的效率较低，而二叉树则更适合用于需要进行快速查找和排序的场景，而不是音视频处理这种需要按照特定顺序处理数据的场景。
6.7 音视频两者处理速度是不一致的,怎么调整同步?
音频和视频的处理速度确实可能不同，这是因为音频和视频的解码、渲染和播放过程可能需要不同的时间。为了保证音视频同步，你需要在播放每一帧时检查音频和视频的同步状态，并根据需要进行调整。
以下是一些可能的方法：
- 使用系统时钟：你可以使用一个系统时钟来同步音频和视频。系统时钟是一个单调递增的时钟，它表示从播放开始到现在的时间。在播放每一帧时，你可以将这一帧的PTS（Presentation Time Stamp）和系统时钟进行比较，如果PTS比系统时钟快，那么你可以延迟播放这一帧，如果PTS比系统时钟慢，那么你可以尽快播放这一帧。
- 调整播放速度：如果音频和视频的处理速度有较大的差距，你可能需要调整播放速度。例如，如果视频处理速度比音频快，你可以减慢视频的播放速度，或者加快音频的播放速度。
- 使用缓冲区：你可以使用缓冲区来存储解码后的音频和视频帧。在播放每一帧时，你可以检查音频和视频缓冲区的状态，如果一个缓冲区为空，那么你可以等待，直到这个缓冲区有数据可供播放。
- 使用同步机制：在多线程环境中，你可以使用同步机制（如互斥锁、条件变量等）来同步音频和视频的播放。例如，你可以使用一个条件变量来等待音频和视频都处理完毕，然后再播放下一帧。
请注意，这些只是一些基本的方法，实际的音视频同步可能需要考虑更多的因素，例如网络延迟、解码速度、播放速度等。你可能需要根据你的实际需求和环境来选择合适的方法。
6.8 音视频两者样本数是不一样的,怎么进行同步?
你是对的，音频和视频的样本数（或帧数）通常是不一样的。视频通常以固定的帧率（如24帧/秒或30帧/秒）播放，而音频的样本率通常远高于视频的帧率（如44100样本/秒或48000样本/秒）。这意味着在同一秒内，音频的样本数通常远多于视频的帧数。
然而，尽管音频和视频的样本数不一样，但是它们的时间戳（PTS，Presentation Time Stamp）应该是一致的，至少在理想情况下是这样。PTS表示的是这个样本或帧应该在什么时候被播放，而不是这个样本或帧是第几个样本或帧。因此，即使音频的样本数多于视频的帧数，但是它们的PTS应该是一致的。
例如，假设我们有一个视频帧，它的PTS是1.0秒，这意味着这个视频帧应该在播放开始后的1.0秒被显示。同时，我们也有一些音频样本，它们的PTS也是1.0秒，这意味着这些音频样本应该在播放开始后的1.0秒被播放。尽管音频样本的数量可能远多于视频帧的数量，但是它们的PTS是一致的。
在实际的音视频同步中，你需要确保音频和视频的PTS一致，或者至少在一个可接受的范围内。如果音频和视频的PTS有较大的差距，那么你可能需要进行一些调整，例如调整播放速度，或者延迟其中一个流的播放，以使它们的PTS一致。
6.9 是否一般以秒为单位计算同步区间?
是的，通常情况下，音频和视频的时间戳（PTS，Presentation Time Stamp）都是以秒为单位的。这意味着，如果你有一个时间戳为1.0的帧，那么这个帧应该在播放开始后的1.0秒被播放。
在播放音频和视频时，你需要根据当前的系统时间和每一帧的PTS来决定何时播放这一帧。例如，如果当前的系统时间是1.0秒，那么你应该播放所有PTS小于或等于1.0秒的帧。
如果你的音频和视频流是连续的，那么你可以简单地在每一秒的开始时，播放所有PTS在这一秒内的帧。例如，在1.0秒的开始时，你可以播放所有PTS在1.0到2.0之间的帧。
然而，如果你的音频和视频流有间隔，或者你需要处理音视频不同步的问题，那么你可能需要更精细的控制。你可能需要在每一帧的PTS到来时，立即播放这一帧，而不是等到下一秒的开始。你也可能需要根据音视频的同步状态，调整播放速度，或者延迟其中一个流的播放。
总的来说，你需要根据你的实际需求和环境，以及音视频的同步状态，来决定何时播放每一帧。
