JMF介绍之媒体框架一

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介:
JMF(Java Media Framework)Sun 公司提出的Java 媒体架构。它是对应Java 2平台标准版(J2SE)的一种可选用的应用编程接口(API)JMF的源代码通过SCSL(Sun 社团源代码许可模式)发布这一强大的媒体工具包,可以在任何版本(1.1.x 及以上版本)Java平台上的运行。
JMF 2.1.1 技术提供了先进的媒体处理能力,从而扩展了Java 平台的功能。JMF所提供的多媒体功能如下:
l可以在Java Applet 和应用程序中播放各种媒体文件。它提供了对各种主要媒体形式和编码的支持,如JPEGH.263MP3Macromedias FlashJMF  2.1.1  还支持多种媒体类型如QuicktimeMOVMicrosoft AVIMPEG-1
l在互联网上传输音频和视频数据流。
l可以利用摄像机一类的设备截取音频和视频并保存为多媒体文件。
l处理多媒体文件转换文件格式。
l在互联网上广播音频和视频数据。
 
1. JMF基本构架
JMF的两层架构:
(1)  相对上层的负责多媒体文件的控制,使用和处理,并支持网络资源和识别采集设备等额外控制功能;
(2)  相对下层不仅提供编解码器,渲染器,还提供plug-in架构来直接存取多媒体文件使JMF能更轻易的被延伸和定制;
JMF的架构图:
                         
1 JMF架构图
 
2JMF的运作模式
2根据VCR的运作模式来对比JMF运作过程,我们可以发现JMF与真实世界中的VCR运作模式相似。整个过程如同是VCR提供一个熟悉的构造模型()、处、以及呈现基于时间的媒体(time-based media)。当你使用VCR播放一个电影时,你是以影带的方式提供VCR一个媒体流(media stream)。VCR将之入并分析、解译录影带上的资,并把适当的讯号送到用户的电视和音响。JMF也是使用这个同样的模型架构。一个数据源(data source)会将媒体流(media stream)封装起,就有如影带一般。而一个播放器(player)会提供处以及控制,VCR所提供的控制机制。使用JMF播放、和捕捉影音则需要适当的输入输出装置如麦克风、照相机、音响、以及屏幕等等。
2 VCR运作模式
 
3. JMF上层结构
3.1时间模型(time model)
 
JMF 对媒体时间信息的获取如下
lTimeBase Time:系统当前时钟。
lMediaTime:一个媒体流的整个播放时间。
lMediaStartTime:媒体开始播放的时间。
lTimeBaseStartTime:当开始播放的时候TimeBase的时间。
lRate:时钟和TimeBase的关系,可以是12倍或负值(重放playback的时候)。
这样我们得到的播放位置的公式为:
MediaTime = MediaStartTime + Rate (TimeBaseTime - TimeBaseStartTime)
 
3.2管理器(managers
JMF API主要由一些接口组成,这些接口定义了用于捕获(capture)、处理(process)和播放(present)基于时间的媒体的对象的行为和相互作用的过程。为了能和已经存在的类实现无缝连接,JMF引入了一些中介对象管理器(Manager)。JMF中使用了四种Manager
lManager管理器(Manager)负责处理播放器(Player)、处理器(Processor)、数据源(DataSource)、数据池(DataSink)的创建。
lPackageManager保存用户创建的播放器(Player),处理器(Processor),数据源(DataSource),数据池(DataSink)类的注册信息。
lCaptureDeviceManager对可用的媒体捕获设备进行注册。
lPlugInManager保持底层的JMF插件(如复用器(Multiplexers,分离器(DemultiPlexers,编解码器(Codecs,渲染器(Effects)和显示器(Render)的注册信息。
 
3.3事件模型(event model
JMF是利用一个结构化的事件报告机制来使基于JMF的程序获知媒体系统当前的状态,并使它能对媒体驱动的错误状态,比如未知源错误状态(Resource Unavailable)进行响应。在任何时候,当一个JMF 对象需要报告当前的状态它将发出一个MediaEvent事件。
对于任何一个能发送MediaEventJMF对象而言,JMF都定义了一个相应的侦听接口(listener interface)。为了能在某一MediaEvent事件发生时得到相应的通知,必须实现适当的侦听接口以及在对应的类体中注册该接口中处理MediaEvent事件的方法体,并通过调用addListener方法来接收此MediaEvent事件。
JMF中的Controller objects,例如播放器(Player)和处理器(Processor,以及Control objects 例如GainControl 都可以发出MediaEvent 事件。
JMF的事件模型如图所示:
 
3 JMF 架构的事件模型
 
3.4数据模型(data model
JMF的媒体播放器利用数据源(DataSources)对象来进行媒体内容的传输。数据源(DataSource)对象封装了该媒体的位置信息和能够播放该媒体的软件和相关协议信息。一旦封装后,该数据源就不能用于传递其它媒体数据。
DataSource通常用两种方式来定义,媒体定位器(MediaLocator) 或URLUniversal Resource Locator)。媒体定位器(MediaLocator)类似于URL而且可以创建自一个URL,即使在没有安装相应的协议处理机制的情况下,也能构造MediaLocator。(在Java中, 构建一个URL必须在系统中有相应的协议处理机制。)
数据源(DataSource)可以管理一组源数据流(SourceStream)对象。标准的数据源(DataSource)是以一定数量字节作为一个传输单位的。而缓冲数据源(Buffer Data Source)用一个缓冲(Buffer)对象作为传输单位。JMF 定义了几种数据源(DataSource)对象如图所示:
 
4 JMF 架构的数据模型
 
3.4.1P ush and Pull数据源
媒体数据可以从不同的数据源得到的。比如本地的或网络上的文件或实时的广播。JMF根据数据传输的发起点的不同,对这些数据源进行了分类:
(1) Pull Data-Source:客户端发起数据传输并进行控制。适用于这种数据传输方式的协议有HTTPFILEJMF定义了两类Pull Data-SourcePullDataSourcePullBufferDataSource。后者是用一个缓冲(Buffer)对象进行数据传输的。
 (2) Push Data-Source:服务器端发起数据传输并进行控制。此种数据源包括媒体广播,组播和VOD。相应的协议有RTP协议和SGI公司为其VOD系统开发的MediaBase协议。JMF 定义了两类Push Data-SourcePushDataSourcePushBufferDataSource
 
3.4.2 特殊的数据源
JMF定义了两类特殊的数据源,克隆数据源(cloneable data sources)和合并数据源(merging data sources)。
    一个克隆数据源可以克隆一个pull或push数据源。你可以调用管理器(manager)的createCloneableDataSource方法并传递相应的数据源对象来克隆一个数据源。一旦一个数据源被传递到createCloneableDataSource方法,你就只能对这个克隆数据源以及它的克隆体进行处理,原始数据源对象不能被直接使用。
克隆数据源(cloneable data sources)实现SourceCloneable接口,其中定义了一个方法叫createClone。通过调用该方法,你可以为你的原始数据源复制出任意数量的克隆体,并由创建它们的克隆数据源(cloneable data sources)对其进行管理。
    一个合并数据源(merging data sources)可以将来自于多个数据源的源数据流合并为一个数据源。这样可以对一系列得数据源进行统一管理。
你可以调用管理器(manager)的createMergingDataSource方法并传递相应的数据源来创建一个合并数据源。需要注意的是,待合并的数据源必须是同一种类型的。例如你不能将一个PullDataSource和一个PushDataSource合并。该合并源的持续时间为其中最长的数据源的持续时间。它的内容类型(ContentType)为application/mixed-media。
 
3.4.3 数据格式(data formats
JMF架构中,Format对象中保存了媒体的格式(format)信息。它并不包括编码参数和全局时间信息。只是描述了该格式的编码名称和数据类别。图表示JMF对音频格式和视频格式的定义:
5 JMF 架构的数据格式
AudioFormat中,描述了音频格式的属性,如采样频率、每次采样的数据位数和信道数等等。在VideoFormat中则描述了视频数据的类型如H.263 等。
 
3.6控制器(controls
JMF架构中,控制器(Control)提供了对对象的属性进行设置和查询的机制。控制器(Control)为相应的用户提供了对对象进行操纵的接口。这些对象包括Controller(播放器player或处理器processor)对象,DataSource对象,DataSink 对象和其他JMF 插件。
 
3.6.1 标准控制器(standard controls
JMF 提供的标准控制器如图6所示:
6 JMF 架构的标准控制
 
1CachingControl:监视和显示下载进度。
2GainControl:对媒体播放属性(如音量)进行控制,它还提供了对媒体播放属性变化的监控。图7所示:
7 GainControl 模型
3MultiplexerDataSink:对数据流进行读写。
4FramePositionControlFrameGrabbingControl:为处理器和播放器提供了基于帧的处理能力。例如在播放时能提供基于帧的定位、对视频流进行静态帧的读写等。
5TrackControl:是FormatControl中的一种。提供了对媒体数据中单独信道的处理功能。
6PortControlMonitorControl:提供了对媒体捕获设备的控制功能。
7BufferControl:提供了对用户端Buffer的控制功能。
 
3.6.2 编解码控制器(codec controls)
JMF 同样提供了几种对硬件和软件编解码器进行控制的编解码器:
1BitRateControl:控制编码率和输出媒体的编码率。
2FrameRateControl:提供帧率的修改。
3H261Control:提供了对H.261 协议的视频编码中的静态图像传输模式的控制。
4H263Control:提供了对H.263 协议中编码参数如非限制矢量算术编码等的控制。
5KeyFrameControl:提供了关键帧之间间隔的规范。
6MpegAudioControl:提供了基于MPEG 的音频的编码能力信息和规范。
7QualityControl:提供了在编解码过程中播放质量与CPU占用率的最佳的平衡规范。
8SilenceSuppressionControl:提供了基于音频编解码的静音压缩规范。
 
3.7用户接口组件(user interface components
控制器(control)可以提供接入到用户控制组件,以使得用户可以得到对媒体的控制。你可以调用getControlCompont方法来得到默认的用户控制组件。该方法返回一个AWT组件,你可以将该组件加到你的小应用程序或应用程序的显示容器组件中。
Controller(播放器player或处理器processor)同样可以提供接入到用户控制组件。例如,一个播放器(player)可以同时提供一个可视组件和一个控制面板组件。你可以通过调用播放器的getVisualComponentgetControlPanelComponent方法来得到这些组件。
 
4. 播放(presentation
JMF中,播放过程由Controller接口完成。Controller接口定义了基本的状态和控制机制,使得实现它的对象可以对基于时间的媒体(time-based media)进行控制,播放或捕获。Controller接口定义了一个媒体controller经历的不同状态,并提供了一种机制控制这些状态的转换。
Controller注册了许多特定的MediaEvents,来获知它的状态的变化。你必须实现ControllerListener接口,来获得来自于Controller(如播放器Player)的MediaEvents
JMF API定义了两种Controllers:播放器(Players)和控制器(Processors)。播放器和管理器是用来处理一个特定的数据源,通常建立后不再处理其它媒体数据。
8JMF Controllers 


本文转自zhangjunhd51CTO博客,原文链接:http://blog.51cto.com/zhangjunhd/25467,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
6月前
|
Web App开发 安全 API
想开发一款带有视频通话/共享屏幕功能的产品?那WebRTC是你必须要知道的!
一名技术爱好者在研究如何为开源项目集成视频通话功能时,深入学习了WebRTC技术。WebRTC是一个API,允许浏览器和应用实现实时音视频通信,简化了之前复杂的技术挑战,如音视频处理和网络传输。该技术可用于视频通话、桌面共享、视频会议等多种场景。在WebRTC中,通过信令交换、STUN/TURN服务器和ICE框架处理网络连接和通信路径,实现点对点连接。与WebSocket不同,WebRTC专注于高质量实时通信,使用UDP协议以降低延迟。接下来的文章将分享如何实现WebRTC的视频通话功能。
|
编解码 缓存 Linux
对话音视频牛哥:如何设计功能齐全的跨平台低延迟RTMP播放器
对话音视频牛哥:如何设计功能齐全的跨平台低延迟RTMP播放器
158 0
|
编解码 人工智能 Linux
OpenHarmony 标准系统 HDF 框架音视频驱动开发
OpenHarmony 标准系统 HDF 框架音视频驱动开发
662 0
OpenHarmony 标准系统 HDF 框架音视频驱动开发
|
编译器
QT软件开发: 获取媒体详细信息(视频/音频)
QT软件开发: 获取媒体详细信息(视频/音频)
331 0
QT软件开发: 获取媒体详细信息(视频/音频)
|
JSON 数据格式
ffmpeg音视频开发: 使用ffprobe获取媒体信息
ffmpeg音视频开发: 使用ffprobe获取媒体信息
471 0
QT应用编程: 调用系统语音引擎完成文字转语音播报
QT应用编程: 调用系统语音引擎完成文字转语音播报
567 0
|
Web App开发 计算机视觉
揭开webRTC媒体服务器的神秘面纱——WebRTC媒体服务器&开源项目介绍
揭开webRTC媒体服务器的神秘面纱——WebRTC媒体服务器&开源项目介绍 WebRTC生态系统是非常庞大的。当我第一次尝试理解WebRTC时,网络资源之多让人难以置信。本文针对webRTC媒体服务器和相关的开源项目(如kurento,janus,jitsi.org等)做一些介绍。
4726 0
14.多媒体基础
脑图如下所示:
794 0