本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库： https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
失真的概念和定义
信息率失真函数
为什么要研究信息率失真函数?
用于限失真信源编码
- 失真在传输中是不可避免的 ;
接收者都存在一定的灵敏度和分辨力，超过灵敏度和分辨率所传送的信息是无意义的
- 即使信宿能分辨和辨别，但对通信质量的影响不大，也可称为允许范围内的失真
- 研究在给定质量要求下的最大允许失真 D，并求出相应的信源给出的最小信息速率 R(D)
限失真信源编码的必要性
对于限失真信源, 应该传送的最小信息率是R(D), 而不是无失真情况下的信息熵H(X) , 显然 $H(X) \geq R(D)$ , 当且 仅当 D=0 时等号成立。
为定量度量D, 必须建立信源的客观失真度量, 并与D建立定量关系。
R(D) 函数是限失真信源信息处理的理论基础。
R(D) 是传送每个信源符号所需要的最小的平均二进制位数。
信源有损压缩的实际意义
根据信道编码定理，信道不可能实现对消息的完全无失真传输。实际生活中，人们并不要求获得完全无失真的消息，通常只要求近似地再现原消息，也就是允许一定的失真存在。在限定失真度条件下压缩信源代码长度(包括削减一部分次要信息）的编码，叫做限失真信源编码。
两种限失真传输
- 离散信源限失真传输，这里主要是编码的问题。
- 连续信源限失真传输，主要是数字化的问题。
限(有)失真信源编码的目标
对于有失真信源编码，我们希望在不大于一定编码速率（即传输每信源符号所需的平均的位数) 的条件下，使平均失真限制到最小; 或者在平均失真不大于某个值的条件下，使编码速率限制到最小。
失真度的定义
既然允许一定的失真存在，对信息率的要求便可降低。可以引入一个失真函数，计算在失真度一定的情况下传信率的极小值。
误差或失真越大，接收者收到消息后判断信源存在的不确定性越大，获得信息量越小，信道传输消息所需的信息率也越小。所以信息率与失真有关。为定量描述信息率和失真的关系，必须先规定失真的测度。
系统模型
对信源发出的消息$X$进行有失真信源编码，经理想无噪声信道传输，到达信源译码器，输出为$Y$。由于编码有失真，所以$Y$不是$X$的精确复现。如果把从信源编码器到信源译码器的传输通道看成一个有噪声信道，这个信道称做试验信道，那么$X$和$Y$就分别为试验信道的输入和输出。
因此可以通过研究试验信道的输入输出之间的互信息来研究限失真信源编码。
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
