实现语音视频录制(demo源码)

简介: 在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。

      在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频、视频会议系统中录制整个会议的过程、语音通话系统中录制完整的对话内容、等等。 

一.缘起

      最近正在做的一个网络招聘平台的项目,其中有一个模块是这样的,应聘者可以通过该系统的客户端录制自己的视频(自我介绍)上传到服务器,而后,招聘者会在合适的时候浏览这些应聘者的视频。该模块涉及到的主要技术就是语音视频录制技术,它需要把从麦克风采集到的语音数据和从摄像头采集到的视频数据编码并写到.mp4文件中。要完成这些功能,具体来说,需要解决如下几个技术问题:

(1)麦克风数据采集

(2)摄像头数据采集

(3)音频数据编码

(4)视频数据编码

(5)将编码后的数据按.mp4文件格式写入到文件容器中。

(6)保证音频视频播放的同步。

二.Demo实现

      如果要从头开始一步步解决这些问题,将是非常艰难的挑战。幸运的是,我们可以通过已有组件的组合来实现这些功能,语音视频数据的采集我们可以借助OMCS框架完成,后续的语音视频编码并生成mp4文件,我们可以借助MFile组件完成。为了更方便地讲解,这里我们将给出一个具体的demo,它可以录制从本地摄像头和本地麦克风采集的数据并生成mp4文件。demo运行的截图如下所示:

     

      接下来,我们来说说在这个demo中是如何一个个解决上述问题的。

1.语音数据采集

      我们可以使用OMCS的MicrophoneConnector组件连接到自己的麦克风设备,这样,扬声器就会播放采集到的语音,而且,我们可以通过通过IMultimediaManager暴露的AudioPlayed事件,来捕获正在播放的语音数据。

2.视频数据采集

      同样的,我们可以使用CameraConnector控件连接到自己的摄像头设备,然后,定时器每隔100ms(假设帧频为10fps)调用其GetCurrentImage方法获得正在绘制的Bitmap。

3.后续步骤

       后续的4步都可以交由MFile组件搞定,我们大概看一下MFile组件中VideoFileMaker类的签名,就知道怎么做了:

 
    public class VideoFileMaker :IDisposable
    {
        /// <summary>
        /// 初始化视频文件。
         /// </summary>
        /// <param name="filePath">文件路径</param>
        /// <param name="videoCodec">视频编码格式</param>
        /// <param name="videoWidth">视频宽度</param>
        /// <param name="videoHeight">视频高度</param>
        /// <param name="videoFrameRate">帧频</param>
        /// <param name="audioCodec">音频编码格式</param>
        /// <param name="audioSampleRate">音频采样率。【注:采样位数必须为16位】</param>
        /// <param name="audioChannelCount">声道数</param>
        /// <param name="autoSyncToAudio">如果是实时录制,则可传入true,以音频为基准进行同步。</param>
        void Initialize(string filePath, VideoCodecType videoCodec, int videoWidth, int videoHeight, int videoFrameRate, AudioCodecType audioCodec, 
int audioSampleRate, int audioChannelCount, bool autoSyncToAudio); /// <summary> /// 添加音频帧。 /// </summary> void AddAudioFrame(byte[] audioframe); /// <summary> /// 添加视频帧。如果autoSyncToAudio开启,则自动同步到音频。 /// </summary> void AddVideoFrame(Bitmap frame); /// <summary> /// 添加视频帧。 /// </summary> /// <param name="frame">视频帧</param> /// <param name="timeStamp">离开始时的时间长度</param> void AddVideoFrame(Bitmap frame, TimeSpan timeStamp); /// <summary> /// 关闭视频文件。 /// </summary> /// <param name="waitFinished">如果还有帧等待写入文件,是否等待它们全部写入文件。</param> void Close(bool waitFinished); }

      首先调用Initialize方法完成初始化,然后,循环调用AddAudioFrame和AddVideoFrame方法,当完成视频录制时,则调用Close方法,即可。很简单,不是吗?

4.主要代码

      首先,我们以aa01用户登录到OMCS服务器,然后,在拖拽一个CameraConnector控件和一个MicrophoneConnector组件到主窗体上,然后,让它们都连到自己的摄像头和麦克风。 

 this.multimediaManager = MultimediaManagerFactory.GetSingleton();           
 this.multimediaManager.Initialize("aa01", "", "127.0.0.1", 9900);
 this.cameraConnector1.BeginConnect("aa01");
 this.microphoneConnector1.BeginConnect("aa01");

       接下来,我们初始化VideoFileMaker组件:

 this.videoFileMaker.Initialize("test.mp4", VideoCodecType.H264, this.multimediaManager.CameraVideoSize.Width, this.multimediaManager.CameraVideoSize.Height, 10, AudioCodecType.AAC, 16000, 1, true);
 this.timer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null ,0, 100);
 this.multimediaManager.AudioPlayed += new ESBasic.CbGeneric<byte[]>(multimediaManager_AudioPlayed);         

      参数中设定,使用h.264对视频进行编码,使用aac对音频进行编码,并生成mp4格式的文件。然后,我们可以通过OMCS获取实时的音频数据和视频数据,并将它们写到文件中。

 
    void multimediaManager_AudioPlayed(byte[] audio)
    {
        this.videoFileMaker.AddAudioFrame(audio);
    }

    private void Callback(object state)
    {
        Bitmap bm = this.cameraConnector1.GetCurrentImage();
        this.videoFileMaker.AddVideoFrame(bm);
    }

      当想结束录制时,则调用Close方法: 

   this.videoFileMaker.Close(true);

      这样录制生成的test.mp4文件就可以直接用我们的QQ影音或暴风影音来播放了。

      更多细节,请查看demo源码。

三.Demo下载

Demo源码:Oraycn.RecordDemo.rar 

 

2014.11.26 现在录制本地的语音、视频、屏幕的最好的方案是MCapture + MFile,而不是通过OMCS绕一大圈,相应的Demo源码下载:Oraycn.RecordDemo.rar 

      当然,如果是远程录制语音、视频、屏幕,最好的方案是OMCSMFile

2015.6.18 整理全部相关demo如下:

(声卡/麦克风/摄像头/屏幕)采集&录制Demo:WinForm版本   WPF版本 

          声卡录制Demo、 混音&录制Demo、  同时录制(桌面+麦克风+声卡)Demo、 麦克风摄像头录制(可预览) 

          录制画中画(桌面+摄像头+麦克风/声卡) 

          远程录制或在服务器端录制语音视频屏幕

 

 

 

目录
相关文章
|
3月前
|
Web App开发 Android开发
FFmpeg开发笔记(四十六)利用SRT协议构建手机APP的直播Demo
实时数据传输在互联网中至关重要,不仅支持即时通讯如QQ、微信的文字与图片传输,还包括音视频通信。一对一通信常采用WebRTC技术,如《Android Studio开发实战》中的App集成示例;而一对多的在线直播则需部署独立的流媒体服务器,使用如SRT等协议。SRT因其优越的直播质量正逐渐成为主流。本文档概述了SRT协议的使用,包括通过OBS Studio和SRT Streamer进行SRT直播推流的方法,并展示了推流与拉流的成功实例。更多细节参见《FFmpeg开发实战》一书。
67 1
FFmpeg开发笔记(四十六)利用SRT协议构建手机APP的直播Demo
|
5月前
|
编解码 Java Android开发
FFmpeg开发笔记(三十一)使用RTMP Streamer开启APP直播推流
RTMP Streamer是一款开源的安卓直播推流框架,支持RTMP、RTSP和SRT协议,适用于各种直播场景。它支持H264、H265、AV1视频编码和AAC、G711、OPUS音频编码。本文档介绍了如何使用Java版的RTMP Streamer,建议使用小海豚版本的Android Studio (Dolphin)。加载项目时,可添加国内仓库加速依赖下载。RTMP Streamer包含五个模块:app、encoder、rtmp、rtplibrary和rtsp。完成加载后,可以在手机上安装并运行APP,提供多种直播方式。开发者可以从《FFmpeg开发实战:从零基础到短视频上线》获取更多信息。
124 7
FFmpeg开发笔记(三十一)使用RTMP Streamer开启APP直播推流
|
5月前
|
Web App开发 移动开发 编解码
FFmpeg开发笔记(三十二)利用RTMP协议构建电脑与手机的直播Demo
本文讨论了实时数据传输在互联网中的重要性,如即时通讯和在线直播。一对一通信通常使用WebRTC技术,但一对多直播需要流媒体服务器和特定协议,如RTSP、RTMP、SRT或RIST。RTMP由于其稳定性和早期普及,成为国内直播的主流。文章通过实例演示了如何使用OBS Studio和RTMP Streamer进行RTMP推流,并对比了不同流媒体传输协议的优缺点。推荐了两本关于FFmpeg和Android开发的书籍以供深入学习。
87 0
FFmpeg开发笔记(三十二)利用RTMP协议构建电脑与手机的直播Demo
|
5月前
技术经验分享:AVFoundation播放视频时显示字幕,切换音轨
技术经验分享:AVFoundation播放视频时显示字幕,切换音轨
47 0
|
6月前
uniapp制作录音播放功能
uniapp制作录音播放功能
222 0
|
6月前
|
XML Java Android开发
Android 开发中原始音频的录播和和自定义音频控制条的讲解及实战(超详细 附源码)
Android 开发中原始音频的录播和和自定义音频控制条的讲解及实战(超详细 附源码)
52 0
|
6月前
|
Web App开发 编解码 JavaScript
【Android App】在线直播之搭建WebRTC的服务端(图文解释 简单易懂)
【Android App】在线直播之搭建WebRTC的服务端(图文解释 简单易懂)
406 0
uniapp 微信语音播放功能(整理)
uniapp 微信语音播放功能(整理)
|
达摩院 语音技术
开源音视频剪辑工具:FunASR-APP ClipVideo
开源音视频剪辑工具:FunASR-APP ClipVideo
1130 1
|
存储 编解码 数据可视化
漏刻有时数据可视化语音留言墙开发日志(微信录音&七牛云amr转换成mp3存储转码)
漏刻有时数据可视化语音留言墙开发日志(微信录音&七牛云amr转换成mp3存储转码)
80 0