实现语音视频录制(demo源码)

简介: 在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。

      在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。 

一.缘起

      最近正在做的一个网络招聘平台的项目,其中有一个模块是这样的,应聘者可以通过该系统的客户端录制自己的视频(自我介绍)上传到服务器,而后,招聘者会在合适的时候浏览这些应聘者的视频。该模块涉及到的主要技术就是语音视频录制技术,它需要把从麦克风采集到的语音数据和从摄像头采集到的视频数据编码并写到.mp4文件中。要完成这些功能,具体来说,需要解决如下几个技术问题:

(1)麦克风数据采集

(2)摄像头数据采集

(3)音频数据编码

(4)视频数据编码

(5)将编码后的数据按.mp4文件格式写入到文件容器中。

(6)保证音频视频播放的同步。

二.Demo实现

      如果要从头开始一步步解决这些问题,将是非常艰难的挑战。幸运的是,我们可以通过已有组件的组合来实现这些功能,语音视频数据的采集我们可以借助OMCS框架完成,后续的语音视频编码并生成mp4文件,我们可以借助MFile组件完成。为了更方便地讲解,这里我们将给出一个具体的demo,它可以录制从本地摄像头和本地麦克风采集的数据并生成mp4文件。demo运行的截图如下所示:

     

      接下来,我们来说说在这个demo中是如何一个个解决上述问题的。

1.语音数据采集

      我们可以使用OMCS的MicrophoneConnector组件连接到自己的麦克风设备,这样,扬声器就会播放采集到的语音,而且,我们可以通过通过IMultimediaManager暴露的AudioPlayed事件,来捕获正在播放的语音数据。

2.视频数据采集

      同样的,我们可以使用CameraConnector控件连接到自己的摄像头设备,然后,定时器每隔100ms(假设帧频为10fps)调用其GetCurrentImage方法获得正在绘制的Bitmap。

3.后续步骤

       后续的4步都可以交由MFile组件搞定,我们大概看一下MFile组件中VideoFileMaker类的签名,就知道怎么做了:

 
    public class VideoFileMaker :IDisposable
    {
        /// <summary>
        /// 初始化视频文件。
         /// </summary>
        /// <param name="filePath">文件路径</param>
        /// <param name="videoCodec">视频编码格式</param>
        /// <param name="videoWidth">视频宽度</param>
        /// <param name="videoHeight">视频高度</param>
        /// <param name="videoFrameRate">帧频</param>
        /// <param name="audioCodec">音频编码格式</param>
        /// <param name="audioSampleRate">音频采样率。【注:采样位数必须为16位】</param>
        /// <param name="audioChannelCount">声道数</param>
        /// <param name="autoSyncToAudio">如果是实时录制,则可传入true,以音频为基准进行同步。</param>
        void Initialize(string filePath, VideoCodecType videoCodec, int videoWidth, int videoHeight, int videoFrameRate, AudioCodecType audioCodec, 
int audioSampleRate, int audioChannelCount, bool autoSyncToAudio); /// <summary> /// 添加音频帧。 /// </summary> void AddAudioFrame(byte[] audioframe); /// <summary> /// 添加视频帧。如果autoSyncToAudio开启,则自动同步到音频。 /// </summary> void AddVideoFrame(Bitmap frame); /// <summary> /// 添加视频帧。 /// </summary> /// <param name="frame">视频帧</param> /// <param name="timeStamp">离开始时的时间长度</param> void AddVideoFrame(Bitmap frame, TimeSpan timeStamp); /// <summary> /// 关闭视频文件。 /// </summary> /// <param name="waitFinished">如果还有帧等待写入文件,是否等待它们全部写入文件。</param> void Close(bool waitFinished); }

      首先调用Initialize方法完成初始化,然后,循环调用AddAudioFrame和AddVideoFrame方法,当完成视频录制时,则调用Close方法,即可。很简单,不是吗?

4.主要代码

      首先,我们以aa01用户登录到OMCS服务器,然后,在拖拽一个CameraConnector控件和一个MicrophoneConnector组件到主窗体上,然后,让它们都连到自己的摄像头和麦克风。 

 this.multimediaManager = MultimediaManagerFactory.GetSingleton();           
 this.multimediaManager.Initialize("aa01", "", "127.0.0.1", 9900);
 this.cameraConnector1.BeginConnect("aa01");
 this.microphoneConnector1.BeginConnect("aa01");

       接下来,我们初始化VideoFileMaker组件:

 this.videoFileMaker.Initialize("test.mp4", VideoCodecType.H264, this.multimediaManager.CameraVideoSize.Width, this.multimediaManager.CameraVideoSize.Height, 10, AudioCodecType.AAC, 16000, 1, true);
 this.timer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null ,0, 100);
 this.multimediaManager.AudioPlayed += new ESBasic.CbGeneric<byte[]>(multimediaManager_AudioPlayed);         

      参数中设定,使用h.264对视频进行编码,使用aac对音频进行编码,并生成mp4格式的文件。然后,我们可以通过OMCS获取实时的音频数据和视频数据,并将它们写到文件中。

 
    void multimediaManager_AudioPlayed(byte[] audio)
    {
        this.videoFileMaker.AddAudioFrame(audio);
    }

    private void Callback(object state)
    {
        Bitmap bm = this.cameraConnector1.GetCurrentImage();
        this.videoFileMaker.AddVideoFrame(bm);
    }

      当想结束录制时,则调用Close方法: 

   this.videoFileMaker.Close(true);

      这样录制生成的test.mp4文件就可以直接用我们的QQ影音或暴风影音来播放了。

      更多细节,请查看demo源码。

三.Demo下载

Demo源码:Oraycn.RecordDemo.rar 

 

2014.11.26 现在录制本地的语音、视频、屏幕的最好的方案是MCapture + MFile,而不是通过OMCS绕一大圈,相应的Demo源码下载:Oraycn.RecordDemo.rar 

      当然,如果是远程录制语音、视频、屏幕,最好的方案是OMCSMFile

2015.6.18 整理全部相关demo如下:

(声卡/麦克风/摄像头/屏幕)采集&录制Demo:WinForm版本   WPF版本 

          声卡录制Demo、 混音&录制Demo、  同时录制(桌面+麦克风+声卡)Demo、 麦克风摄像头录制(可预览) 

          录制画中画(桌面+摄像头+麦克风/声卡) 

          远程录制或在服务器端录制语音视频屏幕

 

 

 

目录
相关文章
|
算法 安全 开发者
大模型部署指南:从个人玩转到企业级应用,这4款工具必看!
本文介绍了五款主流大语言模型部署工具,帮助用户根据需求选择合适的方案。包括适合个人使用的 Ollama 和 LM Studio、优化低配设备运行的 llama.cpp、企业级部署的 vLLM,以及 Hugging Face 推出的 TGI 框架,覆盖从本地体验到高性能服务的多种场景。
|
前端开发 安全 API
Qwen-coder实现本地 RAG 框架能力Bootstrap
本文介绍了如何利用Qwen-coder在本地实现RAG框架能力提升,解决了企业知识库管理中的数据安全和半结构化文档处理问题。通过Qwen2.5-72b模型和多轮对话推理,成功实现了对包含图表内容的文档的高效预处理,提升了知识库检索的准确性和安全性。
|
存储 人工智能 API
使用CAMEL框架和Qwen模型自动进行数据获取及报告与知识图谱生成
此笔记本演示如何设置和利用 CAMEL 的检索增强生成(RAG)结合 Milvus 进行高效的网页抓取、多智能体角色扮演任务和知识图谱构建。我们将通过一个使用 Qwen 模型对 2024 年巴黎奥运会的土耳其射手进行全面研究的例子来逐步演示。
1505 14
|
机器学习/深度学习 人工智能 Ubuntu
|
SQL 缓存 监控
SpringBoot 整合 数据库连接池(Druid、HicariCP、C3P0等等)
SpringBoot 整合 数据库连接池(Druid、HicariCP、C3P0等等)保姆级教程超详细,Druid配置信息等等。
5143 0
SpringBoot 整合 数据库连接池(Druid、HicariCP、C3P0等等)
|
Unix Shell 网络安全
git学习六:(bug总结)git@github.com: Permission denied (publickey).等
本文是关于解决在使用Git和GitHub时遇到的“git@github.com: Permission denied (publickey)”错误的指南。文章提供了详细的步骤,包括确认SSH Agent运行状态、检查密钥配置、确保密钥匹配、验证仓库URL、检查权限和代理设置,以及配置SSH文件。这些步骤帮助用户诊断并解决SSH认证问题。
3289 0
WXM
|
存储 缓存 运维
一场FullGC故障排查
本文档详细记录了一次线上Java应用因频繁Full GC导致CPU使用率异常升高的问题排查与解决过程。
WXM
1110 3
|
存储 自然语言处理 前端开发
Star 6.9k!开源的全能Markdown格式文件提取器:MinerU
总的来说,MinerU是一款非常实用且强大的数据提取工具。无论你是开发者、互联网从业者,还是有具体需求的新人小白,MinerU都能极大地提升你的工作效率,让你专注于更有价值的工作。 最后,如果你对MinerU感兴趣,不妨亲自尝试一下,相信你会爱上这款全能的Markdown格式文件提取器。
|
XML Java Android开发
Android系统 添加动态控制屏幕方向、强制APP横竖屏方向
Android系统 添加动态控制屏幕方向、强制APP横竖屏方向
3992 2