本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
信道编码
1.信道编码在通信系统中的位置和作用
2.信道编码的基本分类:分组码和卷积码(依据构造，编译码过程，性能指标)。
三种主要的信道编译码原理
- 线性分组码
- 循环码
- 卷积码
3.了解其他类型的信道编码以及相关编码界限
- 信道编码的性能分析
- 信道编码的发展与应用
信道编码的基本概念
实际信道中传输数字信号时，由于信道传输特性的不理想及加性噪声的影响，我们接收到的数字信号不可避免地会发生错误。合理设计基带信号，选择调制解调方式等可以使误比特率降低; 但如果得到的误比特率仍无法满足要求，则必须采用信道编码，即差错控制编码来降低误比特率。
1.信道编码是指为了提高通信性能而设计信号变换，以使传输信号更好的抵抗各种信道损伤的影响，例如噪声、干扰以及衰落等。这种信号处理技术可以认为是实现系统性能权衡的方法（如在差错性能与带宽、功率与带宽之间的权衡）。
2.信道编码可以分为两个研究领域: 波形编码或称信号设计(waveform coding or signal design）和 结构化序列或称结构化冗余(structured sequences or structured redundancy)。
波形编码即将波形转变成“更好的波形”，以减小错误对检波过程的影响。（如正交波形)
结构化序列使“数据序列”转变成“更好的序列”，它采用结构冗余（也即冗余比特），这些冗余比特可以用来检测错误和纠正错误。通常若不特指，“结构化序列”=“信道编码”
以上两种编码过程使编码的信号比未编码的信号具有更好的距离特性。
信道编码(结构化序列)的基本做法
- 在发送端给被传输的信息序列附加上一定的监督码元，这些多余的监督码元和信息码元之间有某种确定的关连规则（约束关系）。
- 接收端则按照这种既定的规则检验信息码元与监督码元之间的关系，一旦传输中发生错误，则信息码元和监督码元之间的关系将受到破坏，从而可以发现错误甚至纠正错误。
信道传输所引起的差错类型
- 随机差错:一般无记忆信道中发生，噪声独立随机的干扰每个传输码元——接收码元中错误也是独立随机出现。如:高斯白噪声信道、卫星信道、光纤信道、微波信道中会造成这类差错。
- 突发差错:一般有记忆信道中发生，噪声、干扰具有相关性——错误成对或成串出现。实际衰落信道、无线移动信道、短波信道等会造成这类差错。
- 混合差错:信道中既有独立随机错误也有突发性错误发生。
现发送信息流10001100000010110到一AWGN信道，信道输出端的信息流为10011100000000110，请问这是什么错?
随机错
现发送信息流10001100000010110到一多径信道，信道输出端的信息流为10010111000101010，请问这是什么错?
突发错
现发送信息流10001100000010110到一快速移动信道，信道输出端的信息流为11110100000010001100，请问这是什么错?
混合错
信道编码基本分类
纠独立随机差错码，纠突发差错码，纠混合差错码
对应不同的信道特性设计和选择信道编码的类型。
- 信道编码的不同功能: 检错码、纠错码 和 纠删码（纠错检错，发生不可纠错误可发出错误指示或简单删除信息码元)
- 按信息码元和监督码元间的约束关系: 分组码、卷积码
- 按信息码元在编码后是否保持原来形式不变: 系统码和非系统码
- 按码元取值不同: 二进制码、多进制码
信道编码是依据一定的规律在信息码元中加入定的多余码元，保证传输的可靠性。
信道编码的任务: 构造以最小的多余度（冗余度) 换取最大抗干扰性能的好码。
(1)重复码:
a不重复发送
b重复发送一次
c重复发送2次或多次
将同一信息比特u重复n遍形成的码字——(n，1)，可以按如下方法构造码字
00...00------'0'11...11------'1'
Example: $\mathbf{n}=3$ , 有 000----0 ; 111--- " 1 " 译码时, 采用大数判决, 有
$$ > P_{e}=C_{3}^{2} p^{2}(1-p)+C_{3}^{3} p^{3}=p^{2}(3-2 p) > $$
若信道错误概率 p=0.01 , 则编码后错误概率降为 p=0.000298 。但是这种方式, 分余度非常高.
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
