视频
视频的播放原理：多张图片在短时间内播放，人眼就会认为是一段连贯的动作，以前的胶片电影，还有小时候玩过的快速翻页就能看动画的小书……
视频的一些属性
- 分辨率：屏幕是由一个个像素点组成的，我们常见的1080p，是指屏幕竖直方向有1080个像素，共有1920列，一共207万像素。2K，2560x1440，共369万像素。
- 比特率：码率，也叫比特率，帧率是1S播放多少帧，类比一下，比特率就是1s的视频有多少bit。这个参数决定了视频是否清晰。
常见视频格式
常见的视频格式主要有：.mov、.avi、.mpg、.vob、.mkv、.rm、.rmvb等，之所以会有这么多种视频格式，是因为他们使用了不同的方式来封装视频，所以他们具有各自的特色。
他们的主要特点如下
| 视频文件格式 | 视频封装格式 | 释义 | 发行公司 |
| .avi | AVI(Audio Video Interleave) | 图像质量好，但体积过于庞大，压缩标准不统一，存在高低版本兼容问题。 | MicroSoft.1992 |
| .wmv | WMV(Windows Media Video) | 可边下载边播放，很适合网上播放和传输 | MicroSoft.2003 |
| .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4 | MPEG(Moving Picture Experts Group) | 有三个压缩标准，分别是 MPEG-1、MPEG-2、和 MPEG-4，它为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。 | 运动图像专家组.1998 |
| .mkv | Matroska | 一种新的视频封装格式，它可将多种不同编码的视频及 16 条以上不同格式的音频和不同语言的字幕流封装到一个 Matroska Media 文件当中。 | Matroska.2002 |
| .rm、.rmvb | Real Video | 用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。 | Real Networks |
| .mov | QuickTime File Format | 默认的播放器是苹果的 QuickTime。这种封装格式具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。 | Apple.1998 |
| .flv | Flash Video | 由 Adobe Flash 延伸出来的一种网络视频封装格式。这种格式被很多视频网站所采用。最常见的是用来搭配rmtp | Adobe.2005 |
「视频封装格式」= 视频 + 音频 +「视频编解码方式」 等信息的容器。
常见的解码方式
- .H26x系列 由国际电传视讯联盟远程通信标准化组织(ITU-T)主导，包括 H.261、H.262、H.263、H.264、H.265。
- .H261 用于老的视频会议或视频电话系统，之后的所有标准都基于它设计的。
- .H262 等同于 MPEG-2 第二部分，使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。
- .H263 主要用于视频会议、视频电话和网络视频相关产品。比它之前的视频编码标准在性能上有了较大的提升。尤其是在低码率端，它可以在保证一定质量的前提下大大的节约码率。
- .H264 等同于 MPEG-4 第十部分，也被称为高级视频编码(Advanced Video Coding，简称 AVC)，是一种视频压缩标准，一种被广泛使用的高精度视频的录制、压缩和发布格式。该标准引入了一系列新的能够大大提高压缩性能的技术，并能够同时在高码率端和低码率端大大超越以前的诸标准。
- .H265 高效率视频编码(High Efficiency Video Coding，简称 HEVC)是一种视频压缩标准，是 H.264 的继任者。HEVC 被认为不仅提升图像质量，同时也能达到 H.264 两倍的压缩率（等同于同样画面质量下比特率减少了 50%），可支持 4K 分辨率甚至到超高画质电视，最高分辨率可达到 8192×4320（8K 分辨率），这是目前发展的趋势。
- MPEG系列 由国际标准组织机构(ISO)下属的运动图象专家组(MPEG)开发。
- MPEG-1 第二部分，主要使用在 VCD 上，有些在线视频也使用这种格式。该编解码器的质量大致上和原有的 VHS 录像带相当。
- MPEG-2 第二部分，等同于 H.262，使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。
- MPEG-4 第二部分，可以使用在网络传输、广播和媒体存储上。比起 MPEG-2 第二部分和第一版的 H.263，它的压缩性能有所提高。
- MPEG-4 第十部分，等同于 H.264，是这两个编码组织合作诞生的标准。
音频
声音信号转为数字信号
- 采样：把时间连续的模拟信号在时间轴上离散化，在某些特定的时刻获取声音信号幅值，其时间间隔称为采样周期，倒数为采用频率；
- 量化：把采样后连续取值的每个样本转换为离散值表示，即对样本进行A/D转换（模数转换）；量化后的样本用二进制数来表示，二进制位数即为量化精度（如用1个字节表示，样本的取值范围是0-255，则精度是1/256）；
- 编码：以上处理后得到的数字形式的信息，为了便于存储、处理和传输，进行压缩处理。
数字信号的主要参数
- 采样频率：表示每秒内采样的次数，常用为44.1KHz、22.05KHz、11.05KHz；
- 量化位数：度量声音波形幅度的精度，一般为8位、12位或16位；
- 声道数目：N声道一次产生N组声音波形数据（基于不同的位置）。
如果一段10s的音频，其采用频率是44.KHz，量化精度是16位，采用双声道，则其数据量为44.1Kx16bx2x10s。
常见音频格式
| 音频格式 | 特点 | 音质\压缩 | 发行公司 |
| MP3 | 最常见的音频封装格式，能够在音质丢失很小的情况下把文件压缩到更小的程度，每分钟音频大约在1M左右；缺点是没有高频部分 | 较好\高 | Fraunhofer-Gesellschaft.1991 |
| WMA | 具有比MP3更好的压缩率，大小大约是MP3的一半，可以防止拷贝和限制播放次数，防盗版方面具有独特的优势 | 一般\高 | MicroSoft |
| WAV | 最早的数字音频格式，支持多种音频位数、采样频率和声道，采用44.1kHz的采样频率,音质与CD相差无几，需要存储空间大 | 好\低 | MicroSoft.1991 |
| AAC | 是MPEG-2规范的一部分，压缩能力远超MP3，AAC可以在比MP3文件缩小30%的前提下提供更好的音质 | 较好\极高 | Fraunhofer IIS-A、杜比和AT&T共同开发 |
| MP3Pro | MP3格式的升级版本，在保持相同的音质下同样可以把声音文件的文件量压缩到原有MP3格式的一半大小 | 较好\极高 | 瑞典Coding科技公司 |
| VQF | 相同情况下压缩后VQF的文件体积比MP3小30%～50%，但VQF未公开技术标准，至今未能流行开来。 | 较好\极高 | YAMAHA和NTT共同开发 |
| FLAC | 无损音频压缩编码，不会破坏原有的音质 | 极好\一般 | MicroSoft.1991 |
| APE | 流行的数字音乐文件格式之一，APE是一种无损压缩音频技术。与FLAC相比，体积较小。编码速度偏慢 | 极好\高 | Matthew T. Ashland |
| MID | 数字化乐器接口，常见的MIDI键盘等编曲乐器都靠这个格式来传输 | YAMAHA、ROLAND、KAWAI等 | |
| OGG | 新的音频压缩格式，支持多声道，完全免费，目前最好的有损格式之一 | 一般/ |
tips：20kHz是人耳能够听到的声音信号的带宽，根据采样定理，要通过数字信号（如CD，mp3，wav等音频文件）恢复出原始的声音信号，采样速率至少为带宽的2倍，即40kHz。而使用44kHz比40kHz多了10%，是因为这样能够简化耳机中的滤波器设计，且使得滤波能够滤除更多的噪音，从而提高耳机的音质，让你基本听不到杂音。
