实现语音视频录制(demo源码)

简介: 在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。

      在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。 

一.缘起

      最近正在做的一个网络招聘平台的项目,其中有一个模块是这样的,应聘者可以通过该系统的客户端录制自己的视频(自我介绍)上传到服务器,而后,招聘者会在合适的时候浏览这些应聘者的视频。该模块涉及到的主要技术就是语音视频录制技术,它需要把从麦克风采集到的语音数据和从摄像头采集到的视频数据编码并写到.mp4文件中。要完成这些功能,具体来说,需要解决如下几个技术问题:

(1)麦克风数据采集

(2)摄像头数据采集

(3)音频数据编码

(4)视频数据编码

(5)将编码后的数据按.mp4文件格式写入到文件容器中。

(6)保证音频视频播放的同步。

二.Demo实现

      如果要从头开始一步步解决这些问题,将是非常艰难的挑战。幸运的是,我们可以通过已有组件的组合来实现这些功能,语音视频数据的采集我们可以借助OMCS框架完成,后续的语音视频编码并生成mp4文件,我们可以借助MFile组件完成。为了更方便地讲解,这里我们将给出一个具体的demo,它可以录制从本地摄像头和本地麦克风采集的数据并生成mp4文件。demo运行的截图如下所示:

     

      接下来,我们来说说在这个demo中是如何一个个解决上述问题的。

1.语音数据采集

      我们可以使用OMCS的MicrophoneConnector组件连接到自己的麦克风设备,这样,扬声器就会播放采集到的语音,而且,我们可以通过通过IMultimediaManager暴露的AudioPlayed事件,来捕获正在播放的语音数据。

2.视频数据采集

      同样的,我们可以使用CameraConnector控件连接到自己的摄像头设备,然后,定时器每隔100ms(假设帧频为10fps)调用其GetCurrentImage方法获得正在绘制的Bitmap。

3.后续步骤

       后续的4步都可以交由MFile组件搞定,我们大概看一下MFile组件中VideoFileMaker类的签名,就知道怎么做了:

 
    public class VideoFileMaker :IDisposable
    {
        /// <summary>
        /// 初始化视频文件。
         /// </summary>
        /// <param name="filePath">文件路径</param>
        /// <param name="videoCodec">视频编码格式</param>
        /// <param name="videoWidth">视频宽度</param>
        /// <param name="videoHeight">视频高度</param>
        /// <param name="videoFrameRate">帧频</param>
        /// <param name="audioCodec">音频编码格式</param>
        /// <param name="audioSampleRate">音频采样率。【注:采样位数必须为16位】</param>
        /// <param name="audioChannelCount">声道数</param>
        /// <param name="autoSyncToAudio">如果是实时录制,则可传入true,以音频为基准进行同步。</param>
        void Initialize(string filePath, VideoCodecType videoCodec, int videoWidth, int videoHeight, int videoFrameRate, AudioCodecType audioCodec, 
int audioSampleRate, int audioChannelCount, bool autoSyncToAudio); /// <summary> /// 添加音频帧。 /// </summary> void AddAudioFrame(byte[] audioframe); /// <summary> /// 添加视频帧。如果autoSyncToAudio开启,则自动同步到音频。 /// </summary> void AddVideoFrame(Bitmap frame); /// <summary> /// 添加视频帧。 /// </summary> /// <param name="frame">视频帧</param> /// <param name="timeStamp">离开始时的时间长度</param> void AddVideoFrame(Bitmap frame, TimeSpan timeStamp); /// <summary> /// 关闭视频文件。 /// </summary> /// <param name="waitFinished">如果还有帧等待写入文件,是否等待它们全部写入文件。</param> void Close(bool waitFinished); }

      首先调用Initialize方法完成初始化,然后,循环调用AddAudioFrame和AddVideoFrame方法,当完成视频录制时,则调用Close方法,即可。很简单,不是吗?

4.主要代码

      首先,我们以aa01用户登录到OMCS服务器,然后,在拖拽一个CameraConnector控件和一个MicrophoneConnector组件到主窗体上,然后,让它们都连到自己的摄像头和麦克风。 

 this.multimediaManager = MultimediaManagerFactory.GetSingleton();           
 this.multimediaManager.Initialize("aa01", "", "127.0.0.1", 9900);
 this.cameraConnector1.BeginConnect("aa01");
 this.microphoneConnector1.BeginConnect("aa01");

       接下来,我们初始化VideoFileMaker组件:

 this.videoFileMaker.Initialize("test.mp4", VideoCodecType.H264, this.multimediaManager.CameraVideoSize.Width, this.multimediaManager.CameraVideoSize.Height, 10, AudioCodecType.AAC, 16000, 1, true);
 this.timer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null ,0, 100);
 this.multimediaManager.AudioPlayed += new ESBasic.CbGeneric<byte[]>(multimediaManager_AudioPlayed);         

      参数中设定,使用h.264对视频进行编码,使用aac对音频进行编码,并生成mp4格式的文件。然后,我们可以通过OMCS获取实时的音频数据和视频数据,并将它们写到文件中。

 
    void multimediaManager_AudioPlayed(byte[] audio)
    {
        this.videoFileMaker.AddAudioFrame(audio);
    }

    private void Callback(object state)
    {
        Bitmap bm = this.cameraConnector1.GetCurrentImage();
        this.videoFileMaker.AddVideoFrame(bm);
    }

      当想结束录制时,则调用Close方法: 

   this.videoFileMaker.Close(true);

      这样录制生成的test.mp4文件就可以直接用我们的QQ影音或暴风影音来播放了。

      更多细节,请查看demo源码。

三.Demo下载

Demo源码:Oraycn.RecordDemo.rar 

 

2014.11.26 现在录制本地的语音、视频、屏幕的最好的方案是MCapture + MFile,而不是通过OMCS绕一大圈,相应的Demo源码下载:Oraycn.RecordDemo.rar 

      当然,如果是远程录制语音、视频、屏幕,最好的方案是OMCSMFile

2015.6.18 整理全部相关demo如下:

(声卡/麦克风/摄像头/屏幕)采集&录制Demo:WinForm版本   WPF版本 

          声卡录制Demo、 混音&录制Demo、  同时录制(桌面+麦克风+声卡)Demo、 麦克风摄像头录制(可预览) 

          录制画中画(桌面+摄像头+麦克风/声卡) 

          远程录制或在服务器端录制语音视频屏幕

 

 

 

目录
相关文章
|
存储 前端开发 JavaScript
🚀前端轻松实现网页内容转换:一键复制、保存图片及生成 Markdown
在现代前端开发中,提升用户的交互体验至关重要。本文将详细介绍如何使用 HTML2Canvas 和 Turndown 两个强大的 JavaScript 库,实现将网页选中文本转化为图片并保存或复制到剪贴板,或将内容转换为 Markdown 格式。文章包含核心代码实现、技术细节和功能拓展方向,为开发者提供了一个轻量级的解决方案,提升用户体验。
1165 68
|
11月前
|
运维 监控 Linux
推荐几个不错的 Linux 服务器管理工具
推荐几个不错的 Linux 服务器管理工具
798 6
|
Unix Shell 网络安全
git学习六:(bug总结)git@github.com: Permission denied (publickey).等
本文是关于解决在使用Git和GitHub时遇到的“git@github.com: Permission denied (publickey)”错误的指南。文章提供了详细的步骤,包括确认SSH Agent运行状态、检查密钥配置、确保密钥匹配、验证仓库URL、检查权限和代理设置,以及配置SSH文件。这些步骤帮助用户诊断并解决SSH认证问题。
1750 0
|
存储 设计模式 开发框架
循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(7) -- 图标列表展示和选择处理
循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(7) -- 图标列表展示和选择处理
|
存储 缓存 监控
【jvm系列-09】垃圾回收底层原理和算法以及JProfiler的基本使用
【jvm系列-09】垃圾回收底层原理和算法以及JProfiler的基本使用
389 0
WXM
|
存储 缓存 运维
一场FullGC故障排查
本文档详细记录了一次线上Java应用因频繁Full GC导致CPU使用率异常升高的问题排查与解决过程。
WXM
650 3
|
Kubernetes 监控 测试技术
运维.云技术学习.基于应用服务网格的灰度发布(上:理论基础篇)
运维.云技术学习.基于应用服务网格的灰度发布(上:理论基础篇)
275 0
|
前端开发 JavaScript C#
一个WPF版的Layui前端UI库
一个WPF版的Layui前端UI库
517 0
|
存储 数据可视化 Linux
ChIP-seq 分析:教程简介(1)
[本课程](https://rockefelleruniversity.github.io/RU_ChIPseq/ "Source")介绍 Bioconductor 中的 ChIPseq 分析。该课程由 4 个部分组成。这将引导您完成正常 ChIPseq 分析工作流程的每个步骤。它涵盖比对、QC、`peak calling`、基因组富集测试、基序富集和差异 ChIP 分析。