探索FFmpeg复用：深入理解媒体数据的组织与封装（二）-阿里云开发者社区

探索FFmpeg复用：深入理解媒体数据的组织与封装（一）https://developer.aliyun.com/article/1467675

4.3 数据包操作与交错

在多媒体文件中，尤其是包含多个数据流的文件中（例如，包含视频和音频的文件），数据包的正确排序和交错非常关键。为什么这么说呢？心理学家有一个名为"Chunking"的概念，它是指将单个信息组织成一个有意义的整体。与此类似，交错确保了数据包（Chunks of data）被有序、有意义地组织，从而确保播放时的同步和流畅。

`av_write_frame()`

功能：

直接将数据包写入输出媒体文件。它会跳过交错步骤，所以调用者必须确保数据包已经正确交错。

原型：

int av_write_frame(AVFormatContext *s, AVPacket *pkt);

示例：

AVFormatContext *out_ctx = ...; // 已经初始化的输出格式上下文
AVPacket packet = ...; // 已经准备好的数据包
int ret = av_write_frame(out_ctx, &packet);
if (ret < 0) {
    // 错误处理
}

就像人们在处理复杂任务时需要将任务分解为更小、更容易管理的部分一样，av_write_frame()允许我们直接处理数据包，为高级用户提供更多的控制。

`av_interleaved_write_frame()`

功能：

确保数据包被正确交错并写入输出媒体文件。与av_write_frame()不同，此函数内部会处理交错，通常按照时间戳的递增顺序。

原型：

int av_interleaved_write_frame(AVFormatContext *s, AVPacket *pkt);

示例：

AVFormatContext *out_ctx = ...; // 已经初始化的输出格式上下文
AVPacket packet = ...; // 已经准备好的数据包
int ret = av_interleaved_write_frame(out_ctx, &packet);
if (ret < 0) {
    // 错误处理
}

像Daniel Kahneman在《思考，快与慢》(Thinking, Fast and Slow)中所说，人们有两种思维系统：System 1是快速、直觉的，而System 2是慢速、逻辑的。av_interleaved_write_frame()就像我们的System 2，它深思熟虑地确保每个数据包都在正确的位置。

函数	功能描述	是否处理交错
`av_write_frame()`	直接写入数据包	否
`av_interleaved_write_frame()`	写入数据包并确保交错	是

4.4 码率与时间戳管理

在数字媒体处理中，正确地管理码率和时间戳是至关重要的。错误的时间戳或不稳定的码率可能导致播放问题、音视频不同步等。FFmpeg提供了一系列的接口和工具，帮助我们在复用过程中精确地控制这些关键参数。

`avformat_queue_attached_pictures()`

这个函数是专为音频文件设计的，特别是那些带有封面图像的音频文件，例如MP3。它确保这些封面图像被正确地复用，并以正确的码率和时间戳添加到输出文件中。

原型：

int avformat_queue_attached_pictures(AVFormatContext *s);

参数：

s: 被初始化的输出格式上下文。

返回值：

成功时返回0，否则返回负值。

示例：

AVFormatContext *out_ctx = ...; // 已经初始化的输出格式上下文
int ret = avformat_queue_attached_pictures(out_ctx);
if (ret < 0) {
    // 错误处理
}

深入思考：

当我们处理带有封面图像的音频文件时，我们可能会认为这只是一个简单的任务——只需将图像复用到输出文件中。然而，从心理学的角度看，人们往往会高估自己的能力并低估任务的复杂性。正如Daniel Kahneman在《思考，快与慢》(Thinking, Fast and Slow)中所说：“对于你不熟悉的任务，你的直觉经常是错误的。”因此，使用专门设计的函数，如avformat_queue_attached_pictures()，可以确保我们正确地处理这些细节。

人们通常更容易理解和记忆与他们已知知识相关的新信息。引用经典的C++和心理学文献，将技术细节与更广泛的知识联系起来，可以帮助读者更深入地理解复杂的概念。

函数	功能描述	返回值	应用场景
`avformat_queue_attached_pictures()`	确保带有封面图像的音频文件被正确复用	成功时返回0，否则返回负值	音频文件的复用

4.5 控制与初始化

在进行多媒体处理时，初始化和控制都是必不可少的步骤。在FFmpeg中，这些功能对于确保数据的正确处理和存储至关重要。从心理学的角度来看，初始化和控制过程就像为大脑设定一个清晰的目标或意图，这有助于引导我们的行为和决策。

`avformat_init_output()`

这是一个根据给定的参数初始化输出格式上下文的函数。它为我们提供了一个方法来配置输出的具体细节。

原型：

int avformat_init_output(AVFormatContext *s, AVDictionary **options);

参数：

s: 输出文件的格式上下文。
options: 一个指向字典的指针，包含初始化选项。

返回值：

返回一个负的错误码或0。

示例：

AVDictionary *opts = NULL;
av_dict_set(&opts, "preset", "ultrafast", 0);
if (avformat_init_output(out_ctx, &opts) < 0) {
    // 错误处理
}

心理学角度：

人们在面对复杂任务时往往寻求简化。这是因为，如Daniel Kahneman在《思考，快与慢》(Thinking, Fast and Slow)中所述，人们有两种思考方式：快速的直觉思考和慢速的分析思考。avformat_init_output()提供了一种简化的方法来初始化复杂的输出格式上下文，这有助于我们快速并直观地完成任务。

`avformat_free_context()`

释放与格式上下文关联的所有资源。它确保了所有动态分配的内存都被适当地释放。

原型：

void avformat_free_context(AVFormatContext *s);

参数：

s: 要释放的格式上下文。

示例：

avformat_free_context(out_ctx);

心理学角度：

释放资源和完成任务的感觉类似于心理学中的“完成效应”(Zeigarnik effect)。Bluma Zeigarnik发现，当任务完成时，人们往往忘记与任务相关的细节。适当地释放资源和完成编程任务可以为我们带来满足感，同时确保我们的应用程序没有任何挂起的问题。

函数	功能描述	返回值
`avformat_init_output()`	初始化输出格式上下文	负的错误码或0
`avformat_free_context()`	释放格式上下文资源	无

4.6 其他辅助功能

除了上述主要的接口外，FFmpeg还为复用提供了一系列的辅助功能。这些功能不仅体现了编程的艺术，还反映了对人性的深入理解。当我们面对复杂的问题时，合适的工具可以大大简化工作。正如心理学家Abraham Maslow所说：“如果你只有一个锤子，你会看待每一个问题都像钉子。”

`av_interleave_packet_per_dts()`

这是一个内部函数，用于按照dts对数据包进行交错。

原型：

int av_interleave_packet_per_dts(AVFormatContext *s, AVPacket *out, AVPacket *pkt, int flush);

参数：

s: 格式上下文。
out: 输出的交错的数据包。
pkt: 输入数据包。
flush: 是否清空队列。

深入剖析：

此函数的目的是确保数据包按照它们的dts（解码时间戳）正确交错。当我们对多个流（例如，音频和视频）进行复用时，确保它们正确交错是非常重要的，否则可能会出现音视频不同步的问题。

考虑到我们经常需要处理来自不同源的数据流，并且它们的时间戳可能不是完美对齐的，这个函数为我们提供了一个方便的方法来确保输出文件中的数据包是正确交错的。

源码探索

深入FFmpeg的源码可以为我们揭示其工作原理。例如，av_interleave_packet_per_dts()函数的实现包括了一个优先队列，该队列保证了数据包按照它们的dts进行排序。这种底层的理解不仅有助于我们更好地使用FFmpeg，还可以帮助我们设计自己的系统。

表格总结：

函数	功能描述	主要参数	返回值
`av_interleave_packet_per_dts()`	按照`dts`对数据包进行交错	`AVFormatContext s, AVPacket out, AVPacket *pkt, int flush`	成功时返回0，失败时返回负值

5. 从原始数据到复用的完整流程

编程，尤其是在嵌入式环境中，与人的思维方式和心理活动紧密相关。当我们深入研究从原始数据到复用的流程时，我们实际上是在探索一个与人类思维模式相似的过程。正如乔治·A·米勒（George A. Miller）在其著名的心理学论文《魔数七，加减二：我们短时记忆的极限》中所说：“人的短时记忆有限。”编程和数据处理也需要分步骤、分块进行。

5.1 解封装与解码

首先，我们需要从一个已存在的文件中获取编码后的数据。这一步称为解封装（Demuxing，中文常称为“解复用”）。

5.1.1 解封装的过程

解封装涉及读取容器格式，提取其中的数据流，但不涉及解码。这就像我们从一本书中提取章节，但不去解读每个章节的内容。

示例：

AVFormatContext* pFormatCtx = avformat_alloc_context();
// 打开文件
if(avformat_open_input(&pFormatCtx, "example.mp4", NULL, NULL) != 0) {
    // 错误处理
}
// 读取流信息
if(avformat_find_stream_info(pFormatCtx, NULL) < 0) {
    // 错误处理
}

5.1.2 解码的必要性

解封装后，我们得到的是编码后的数据。为了处理或转换这些数据，我们需要将其解码为原始格式，如YUV420p的视频或PCM的音频。这就像从一种语言翻译到另一种语言，以便更好地理解。

示例：

AVCodec* pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if(!pCodec) {
    // 错误处理
}
AVCodecContext* pCodecCtx = avcodec_alloc_context3(pCodec);
if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
    // 错误处理
}
// 解码...

5.2 转码：从一个编码格式转换到另一个格式

人们经常更改思维方式以适应新的环境或目标，同样，我们也可能需要将数据从一种编码格式转换为另一种。这需要我们首先解码原始数据，然后再次编码到目标格式。

5.2.1 为什么需要转码？

转码可以帮助我们实现以下目标：

节省存储空间。
兼容特定的设备或平台。
改变视频的质量或大小。

正如心理学家卡尔·罗杰斯（Carl Rogers）所说：“我们无法改变、我们不能逃避，我们必须面对。”对于编码格式，当它不再满足我们的需求时，我们必须更改它。

示例：

假设我们想将H.264编码的视频转换为H.265，以节省存储空间。这需要我们首先解码H.264数据，然后编码为H.265。

5.3 再次编码与复用

当数据被转换为所需的格式后，我们需要将其复用到目标容器中。这一步确保我们可以在各种设备和平台上播放和分享我们的媒体文件。

5.3.1 选择合适的容器

选择容器时，我们需要考虑以下因素：

兼容性。
功能需求，如章节、字幕或多语言支持。
效率和性能。

容器	优势	劣势
MP4	广泛支持，高效率	不支持某些编解码器
MKV	支持多种功能，包括多个字幕和音频流	不是所有设备都支持
AVI	老的和广泛支持的	较大的文件大小，少量功能

5.3.2 复用编码后的数据

这一步确保我们的数据被正确地组织并保存到文件中。

示例：

// 设置输出容器
AVFormatContext *outFormatCtx;
avformat_alloc_output_context2(&outFormatCtx, NULL, "mp4", NULL);
// ... 设置编码上
下文和参数
// 写入文件头
avformat_write_header(outFormatCtx, NULL);
// 写入数据和交错
av_interleaved_write_frame(outFormatCtx, &pkt);
// 写入文件尾
av_write_trailer(outFormatCtx);

6. C++特性与FFmpeg的结合

在深入探索如何将C++的现代特性与FFmpeg结合使用之前，我们首先要理解为什么要这样做。像C++这样的强大的编程语言提供了很多工具和特性，可以帮助我们编写更简洁、高效且可维护的代码。而FFmpeg，作为一个强大的多媒体处理库，很可能会涉及到复杂的资源管理和错误处理。这就是C++的现代特性进入场景的地方。

6.1 使用 C++11/14/17/20 的特性优化代码

6.1.1 智能指针与资源管理

C++11引入了智能指针，如std::unique_ptr和std::shared_ptr，这些工具为我们提供了自动的内存管理。在FFmpeg中，我们经常需要分配和释放各种资源，如AVFrame、AVPacket等。智能指针可以确保这些资源在不再需要时被正确地释放，从而避免内存泄漏。

示例：

#include <memory>
extern "C" {
    #include <libavformat/avformat.h>
}
// 使用unique_ptr管理AVPacket资源
std::unique_ptr<AVPacket, decltype(&av_packet_free)> packet(av_packet_alloc(), av_packet_free);

如上例所示，我们使用std::unique_ptr来管理AVPacket的生命周期。当packet离开其作用域时，AVPacket将被自动释放。

6.1.2 Lambda表达式与错误处理

C++11引入了Lambda表达式，这是一种创建匿名函数对象的方法。在FFmpeg中，我们经常需要处理各种错误情况。Lambda表达式可以使错误处理代码变得更为简洁和易读。

示例：

// 使用Lambda表达式进行错误检查
auto error_check = [](int ret) {
    if (ret < 0) {
        char errbuf[AV_ERROR_MAX_STRING_SIZE] = {0};
        av_strerror(ret, errbuf, sizeof(errbuf));
        throw std::runtime_error(errbuf);
    }
};
int ret = avformat_open_input(&ctx, filename, nullptr, nullptr);
error_check(ret);  // 使用Lambda检查错误

这里，我们使用Lambda表达式error_check来检查FFmpeg函数的返回值。如果返回值表示错误，Lambda将抛出一个包含错误消息的异常。

6.2 RAII与FFmpeg资源管理

RAII（Resource Acquisition Is Initialization，资源获取即初始化）是C++中的一个核心概念，它确保资源（如内存、文件句柄等）在对象的生命周期中被正确管理。与FFmpeg结合使用时，RAII可以确保我们的代码既简洁又安全。

示例：

class PacketGuard {
public:
    PacketGuard() { av_packet_alloc(&pkt_); }
    ~PacketGuard() { av_packet_free(&pkt_); }
    AVPacket* get() { return pkt_; }
private:
    AVPacket* pkt_ = nullptr;
};
// 使用PacketGuard管理AVPacket资源
{
    PacketGuard pg;
    // ... 使用pg.get()来访问AVPacket...
}  // 当pg离开作用域时，AVPacket资源将被自动释放

在这个示例中，我们定义了一个PacketGuard类，它使用RAII原则管理AVPacket资源。当我们创建一个PacketGuard对象时，一个AVPacket将被分配。当对象离开其作用域时，AVPacket将被释放。

此外，从心理学的角度来看，RAII减少了程序员需要记忆的资源管理任务，从而减少了出错的可能性。正如心理学家George A. Miller在其经典的论文《魔数七，正负二》中指出，人类的短期记忆有限，RAII这种自动化的管理方式能够减轻认知负担，使我们能够更好地关注其他更重要的任务。

6.3 异常处理与FFmpeg的错误管理

C++提供了异常处理机制来处理运行时错误。与FFmpeg的错误管理机制结合使用时，这可以使我们的代码更加健壮和易于维护。

示例：

try {
    int ret = avformat_open_input(&ctx, filename, nullptr, nullptr);
    if (ret < 0) {
        throw std::runtime_error("Failed to open input");
    }
    // ... 其他代码 ...
} catch (const std::exception& e) {
    std::cerr << "Error: " << e.what() << std::endl;
}

在上述代码中，我们使用try-catch块来捕获和处理可能的错误。当avformat_open_input失败

时，我们抛出一个异常，然后在catch块中处理它。

从心理学的角度来看，使用这种结构化的错误处理方法可以帮助我们更好地组织代码，使其更易于阅读和理解。正如心理学家Jean Piaget所说，人们通过构建和调整其认知结构（或“模式”）来理解和适应外部世界。结构化的代码可以更容易地与我们现有的认知结构相匹配，从而提高我们的编程效率。

探索FFmpeg复用：深入理解媒体数据的组织与封装（三）https://developer.aliyun.com/article/1467677

探索FFmpeg复用：深入理解媒体数据的组织与封装（二）