C++ 音视频原理

简介: C++ 音视频原理

本篇文章我们来描述一下音视频原理

音视频录制原理:

下面是对这张思维导图的介绍

摄像头部分:

麦克风采集声音 摄像头采集画面

摄像头采集回来的数据可以用RGB也可以用YUV来表示  

图像帧帧率 一秒能处理多少张图像

图像处理 :调亮度

图像帧队列 :意思是将数据取出来储存在图像帧队列里面 等着编码器将数据取出来进行编码处理 进行压缩

视频编码 将视频体积大变成小的 精简的

视频包队列:压缩好的(编程好的)音频作为音频包队列 然后按照一定的规则封装成文件

麦克风部分:

麦克风采集声音 摄像头采集画面

采样帧 :PCM 采集多少数据作为一帧来压缩

音频处理:类似于变声器的概念 变音

采样帧队列:把数据放到队列里面 等待音频编码线程来读取

音频编码:声音也要进行压缩 将声音进行压缩

音频包队列:压缩完的声音队列  

复用器:音视频队列都按照一定的规则写到文件里面去

时钟用于将音视频同步(相同的时间戳) 如果没有音视频同步 还怎么看视频

音视频播放原理:

下面是对这个思维导图的介绍:

解复用器:将媒体文件分离成音频包队列和视频包队列 根据媒体文件的相应的规则来分离 比如媒体文件是mp4规则就用mp4规则来分离

音频包队列意思就是说音频消息的存储 为二进制 等待解码

音频包队列意思就是说视频消息的存储 为二进制  等待解码

放在帧队列然后时钟音视频同步(注意是逐帧播放)

音视频原理代码实例:

#include <opencv2/opencv.hpp>
int main() {
    cv::VideoCapture cap(0); // 打开默认摄像头
    if (!cap.isOpened()) {
        std::cerr << "无法打开摄像头" << std::endl;
        return -1;
    }
    
    int frameWidth = cap.get(cv::CAP_PROP_FRAME_WIDTH);
    int frameHeight = cap.get(cv::CAP_PROP_FRAME_HEIGHT);
    
    cv::VideoWriter writer("output.avi", cv::VideoWriter::fourcc('M', 'J', 'P', 'G'), 25.0, cv::Size(frameWidth, frameHeight));
    
    if (!writer.isOpened()) {
        std::cerr << "无法创建视频文件" << std::endl;
        return -1;
    }
    
    while (true) {
        cv::Mat frame;
        cap >> frame; // 从摄像头读取帧
        
        writer.write(frame); // 写入视频文件
        
        cv::imshow("Video", frame); // 显示实时视频
        
        if (cv::waitKey(1) == 'q') { // 按下'q'键退出循环
            break;
        }
    }
    
    cap.release(); // 释放摄像头资源
    writer.release(); // 关闭视频文件
    
    return 0;
}

这段代码使用FFmpeg库打开输入视频文件,创建输出RTMP流地址,并将音视频数据推送到流媒体服务器

总结:我们学习播放器的时候 首先要了解他的一个总体的思维导图 然后在逐个击破 这样效果才是最好的  音视频录制和音视频播放的是互逆的操作  还要注意 帧队列通常和时钟相互使用 帧队列精度高 配合时间使用实现音视频同步

好了 本篇文章就到这里结束了 在这里向大家推荐一个课程:

https://xxetb.xetslk.com/s/2PjJ3T

相关文章
|
26天前
|
算法 程序员 C语言
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践(二)
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践
54 0
【C++ 随机数分布类型 】深入探索C++随机数分布:原理、应用与实践(二)
|
1月前
|
Linux 数据处理 C++
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用(一)
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用
69 0
|
26天前
|
存储 安全 数据库
【C++ 17 包裹器类 std::optional】“深入理解C++:std::optional的高级应用与原理
【C++ 17 包裹器类 std::optional】“深入理解C++:std::optional的高级应用与原理
49 0
|
1月前
|
存储 Linux API
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用(三)
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用
31 1
|
1月前
|
消息中间件 Linux 数据处理
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用(二)
Linux系统编程 C/C++ 以及Qt 中的零拷贝技术: 从底层原理到高级应用
30 1
|
26天前
|
存储 安全 编译器
【C++ 17 新功能 std::visit 】深入解析 C++17 中的 std::visit:从原理到实践
【C++ 17 新功能 std::visit 】深入解析 C++17 中的 std::visit:从原理到实践
69 0
|
26天前
|
存储 算法 编译器
【C++ 内存管理 重载new/delete 运算符 新特性】深入探索C++14 新的/删除的省略(new/delete elision)的原理与应用
【C++ 内存管理 重载new/delete 运算符 新特性】深入探索C++14 新的/删除的省略(new/delete elision)的原理与应用
43 0
|
24天前
|
设计模式 安全 C++
【C++ const 函数 的使用】C++ 中 const 成员函数与线程安全性:原理、案例与最佳实践
【C++ const 函数 的使用】C++ 中 const 成员函数与线程安全性:原理、案例与最佳实践
70 2
|
25天前
|
设计模式 算法 中间件
【C/C++ CommonAPI入门篇】深入浅出:CommonAPI Core与CommonAPI DBus的协同工作原理
【C/C++ CommonAPI入门篇】深入浅出:CommonAPI Core与CommonAPI DBus的协同工作原理
50 0
|
25天前
|
存储 并行计算 算法
C++动态规划的全面解析:从原理到实践
C++动态规划的全面解析:从原理到实践
91 0