信息论绪论

简介: 本专栏针包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。
markdown版本已归档至【Github仓库: information-theory】,需要的朋友们自取。或者关注公众号【AIShareLab】,回复 信息论 也可获取。

一、信息的基本概念

什么是信息(information)

  • 信息:一个既复杂又抽象的概念。
  • 广义: 消息、情报、知识
  • 技术术语: 计算机处理(通信传输)的对象——数据、文字、记录
  • 科学名词: 统计数学、通信技术

    • 用严格的数学公式定义的科学名词,它与内容无关,而且不随信息具体表现形式的变化而变化,因而也独立于形式。
    • 它反映了信息表达形式中统计方面的性质,是一个统计学上的抽象概念
  • 信息是指各个事物运动的状态及状态变化的方式:

    人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识,它是看不见、模不到的。人脑的思维活动产生的一种想法,当它仍储存在脑子中的时候它就是一种信息。

信息、消息和信号

信息

  • 信息是通信系统中传输(或存储、处理)的对象,它包含在消息中。
  • 是事物运动状态或存在方式的不确定性的描述。(香农信息的定义)

消息

  • 是指包含有信息的语言、文字和图像等;
  • 消息中载荷有信息,但是同一个信息可以由不同的消息载荷。

信号

  • 是消息的物理体现。可以用不同类型的信号,如声、光、电等传递同一个消息。

在通信系统中,实际传输的是信号,但本质内容的是信息。信息包含在信号之中,信号是信息的载体。通信的结果是消除或部分消除不确定性,从而获得信息。

信息的特征

信息的基本概念在于它的不确定性,任何已确定的事物都不含信息

  • 接收者在收到信息之前,对它的内容是不知道的,所以,信息是新知识、新内容;
  • 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识;
  • 信息可以产生,也可以消失,同时信息可以被携带、贮存及处理;
  • 信息是可以量度的,信息量有多少的差别。
Question:除了上述的信息的特征,信息还有一些其他的特征,请选择下面哪些是信息的特征? (ACD)

A. 信息非负
B. 信息可以是任意值
C. 信息具有可加性
D. 确定消息(事件)的所含信息量为零

解析:信息不可以是任意值。因为信息和任意值没有关联。

信息论

信息论是一门应用概率论、随机过程、数理统计和近代代数的方法,来研究信息传输、提取和处理系统中一般规律的学科,被称为“通信的数学理论”。

信息论是在信息可以量度的基础上, 研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

二、信息论研究的内容

狭义信息论

主要研究信息的测度、信道容量以及信源和信道编码理论等问题。

一般信息论

主要也是研究信息传输和处理问题,除香农信息论,还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。

广义信息论

不仅包括上述两方面内容,而且包括所有与信息有关的自然和社会领域,如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题

信息论研究的内容

1、通信的统计理论研究

主要研究利用统计数学工具分析信息和信息传输的统计规律。其具体内容有:

  • 信息的测度;
  • 信息速率与嫡;
  • 信道传输能力——信道容量。

2、信源的统计特性

  • 文字(如汉字)、字母(如英文)的统计特性;
  • 语音的参数分析和统计特件;
  • 图片及活动图像(电视)的统计特性;
  • 其他信源的统计特性。

3、编码理论与技术的研究

  • 有效性编码:

    提高信息传输的有效率,主要针对信源的统计特性进行编码,也称信源编码

  • 抗干扰编码:

    提高信息传输的可靠性,主要针对信道统的计特性进行编码; 也称信道编码

4、提高信息传输效率的研究

  • 功率的节约;
  • 频带的压缩;
  • 传输时间的缩短,即快速传输问题。

5、抗干扰理论与技术的研究

  • 各种调制制式的抗干扰性;
  • 理想接收机的实现

6、噪声中信号检测理论与技术的研究

  • 信号检测的最佳准则;
  • 信号最佳检测的实现。

三、信息论发展历程&香农

“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。

香农应用数理统计的方法来研究通信系统,从而创立了影响深远的信息论。香农因此成为信息论的奠基人。

香农,1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇文章中, 香农解决了过去许多悬而未决的问题: 经典地阐明了通信的基本问题,提出了通信系统的模型,给出了信息量的数学表达式,解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论的奠基著作。

参考文献:

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.

欢迎关注公众号【AIShareLab】,一起交流更多相关知识,前沿算法,Paper解读,项目源码,面经总结。

目录
相关文章
|
消息中间件 关系型数据库 Kafka
flink cdc 数据问题之数据丢失如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
SQL 关系型数据库 MySQL
一次性导入千万级数据到Mysql(附源码)
MySql数据迁移、导入,在我们日常开发中,可以说是经常碰到。如果数据量比较小,一般都没什么问题,但是如果是涉及到千万级、亿级的数据量大数据量迁移,这里面就涉及到一个问题:如何快速导入千万数据到MySQL。 下面我们通过对比3种方法,来谈谈MySQL怎么高性能插入千万级的数据。
2513 0
|
9月前
|
数据挖掘 BI
大模型时代下的智能数据分析
在大模型时代,智能数据分析成为企业提升效率的关键。2024年,市场逐渐回归应用本质,客户更关注模型如何落地日常业务。瓴羊Quick BI智能小Q助手接入通义千问大模型能力,提供对话式报表搭建、一键换肤美化、智能洞察归因等高效功能,助力企业数字化转型,引领数据消费新范式。
197 4
|
数据采集 数据可视化 大数据
Python在大数据处理中的应用实践
Python在大数据处理中扮演重要角色,借助`requests`和`BeautifulSoup`抓取数据,`pandas`进行清洗预处理,面对大规模数据时,`Dask`提供分布式处理能力,而`matplotlib`和`seaborn`则助力数据可视化。通过这些工具,数据工程师和科学家能高效地管理、分析和展示海量数据。
600 4
|
中间件 Go 调度
优雅的路由系统:Gorilla Mux
优雅的路由系统:Gorilla Mux
|
存储 运维 监控
服务器高效运维管理方案
智能运维作为保障业务连续性和提升系统性能的关键环节,其重要性日益凸显。服务器作为承载各类应用与数据的核心基础设施,其稳定性、安全性和性能直接关系到企业的业务运行效率和用户体验
603 1
|
算法 知识图谱
极简ECDSA
该文章以极简的方式介绍了ECDSA(椭圆曲线数字签名算法)的基本原理,包括私钥和公钥的生成、签名过程、以及验证签名的方法,旨在帮助读者轻松掌握ECDSA的核心概念。
161 6
极简ECDSA
|
Java 关系型数据库 MySQL
基于JAVA的高校宿舍管理系统的设计与实现(论文+源码)_kaic
基于JAVA的高校宿舍管理系统的设计与实现(论文+源码)_kaic
|
数据采集 存储 JSON
Python爬虫面试:requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests,强调了异常处理、代理设置和请求重试;BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化;而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码,帮助读者深化理解并提升面试表现。
570 0
|
JavaScript Java 测试技术
基于Java的网上订餐管理系统的设计与实现(源码+lw+部署文档+讲解等)
基于Java的网上订餐管理系统的设计与实现(源码+lw+部署文档+讲解等)
604 0