开发者学堂课程【高校精品课-华中科技大学 -智能媒体计算:Mpeg-21】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/811/detail/15721
Mpeg-21
内容介绍
一、概念
二、原因
三、具体内容
一、概念
1、mpeg-21是多媒体框架,英文 multimedia framework。标准号是 iso/iec 21000,2007年发布。mpeg-7是一个多媒体内容的描述结构,2001年发布。
mpeg-21与 mpeg-7不同,它是框架,是一个愿景。mpeg-21是一个开放的标准,是多媒体的 Delivery,例如传输、传递,主要是交易的环节,以及消费规定的框架。
原来的多媒体信息是以硬拷贝的方式。如今购买和传输的方式有了很大的转变。早期可以买录像带看视频,买 CD 听歌,如今这种方式越来越少,都是从网络上获取相应的视频内容或是音频内容。
原来买书去书店买硬拷贝,现在可以通过电子书,在客户端里阅读。
这样的多媒体内容如何进行传输,如何进行表示,如何进行版权的保护等就成为很大的挑战。专家们设计了一个标准,目标就是使得多媒体的资源在互联网上能够便捷地使用。
2、标准的内容其实很丰富。
它是一个多媒体的框架,主要是为整个多媒体从创作发行交易各个环节一直到消费者,就是从创作者到消费者之间的所有原来传统的传输链条上的每一个环节都涉及。不同的是全改成了电子化,在互联网上进行。
因此,关注的两个焦点就是内容创作者和内容消费者。写书的人原来写完书后是出版社出版,给发行商然后给零售商,或者是从批发商再到零售商,然后再去书店购买。现在只是在互联网上采用订阅的方式或者购买拷贝的方式。
二、原因
1、为什么需要标准
通过这几十年的发展,很多基础设施都具备了,例如多媒体内容的压缩标准。内容描述有各种安排的期许、各种特点。传输方面也有各种各样的协议,都对不同的环节做了相应的规定。
但是缺少 big picture,一个大的蓝图,把这不同的组件组合起来,形成一个完整的处理框架,而 mpeg-21希望能够把 Big picture 描绘出来。
好处:它使得现有的存在的组件能够相互结合在一起,从而把彼此之间的GEp就是间隙有机融合在一起。
2、为什么现在才做,原来不做
原来的技术不够成熟,压缩标准还没有,不可能在互联网上传输,互联网的技术没发展到一定程度,也不可能在互联网上看视频。三十年前基础设施太差,无论是软件还是硬件,不可能看高清的视频。
但是现在终端设备,技术协议,标准,足以保证可以在互联网上做很多事,甚至可以做任何事情,因此现在提出来标准是具备条件的,例如压缩,传输,描述等等,这些标准已经准备好了。
三、具体内容
21的标准的主要内容有十二部分。其他辅助的东西还有很多。第一部分,做视觉,多媒体研究的,应该好好地把这个标准看一看,可以在网上下载相应的草案。
1、Vision technologies and strategy,就是目标是什么,用了哪些技术,策略是什么。
2、digital item declaration 。第二部分定义是多媒体内容里的任何一个单元,一个内容,都可以成为一个 digital item。
例如一首歌,一本书,一部电视剧,或者一个电视剧第一集,或者是写的一段歌词或是文本,一篇文章,都是一个 digital item。就是如何来定义或者声明这个 digital item。用了生理语言,也用了 xml。讲 mpeg-7的时候,描述语言也是 xml。
3、Digital item identification,就是数字项或多媒体内容如何进行识别。
DIi,例如一首歌曲有歌曲的唯一标示,一本书有书号,期刊有期刊号,电视剧也有相应的编码。在21之前,每一个商品都有编码。在这里统一起来提供识别的服务。
4、知识产权的管理和保护,叫 IPMP。知识产权的就是水印,是一种版权保护。我们的编码,访问,控制等等。
5、特定的内容,不同的订阅有不同的权利,例如花钱买了一本书的版权,就可以卖给别人,已经买断了。如果买的是看的权限,那就只能在线阅读。有的PDF文件里有编辑的功能。
所以不同的订阅,权限不一样,怎么来适用多个权限的表达,这里面专门有一部分就是这个权限的表达,叫 rel。
6、RDD
7、Digital item Adaptation,是指数字项的自适应。以视频为例,如何适应不同的网络,适应不同的终端。这个领域里有很多的研究价值。有的视频为了适应在小的平板上或者手机上观看,可能要进行降裁或者进行裁剪,把感兴趣的内容裁剪出来。还可以进行分层的编码,前面讲传输时讲过。
8、参考的软件
9、文件的格式
10、Processing 处理
11、评价方法和一致性的关联技术
12、21的测试平台。
如果不研究标准,仅仅想在未来的研究中使用 mpeg-21的话,重点看第一部分。
如果想建一个系统利用 mpeg-21的话,重点看第二三部分的声明,识别。
如果是做知识产权保护的,做水印也好,其他的版权保护算法也好,例如拷贝检测等等,第四五部分是阅读的重点。
如果是做传输,网络,多媒体内容的自适应传输的,第七部分就是研究重点。
这里面给出了视频传输的整个框架和不同的算法。全世界为了这个标准,集成了最优秀的一批多媒体领域专家。