《信息论基础教程》是信息论领域的经典教材，由李亦农和李梅编著，系统介绍信息论的基本概念、理论及应用。以下是核心内容梳理：

一、核心概念

1. 信息度量

   • 信息熵 ：衡量随机变量不确定性的度量，公式为 $H（X）=-\sum p（x）\log_2 p（x）$，信息熵越大，不确定性越高。

   • 条件熵 ：在给定随机变量 $Y$ 的条件下，$X$ 的不确定性，公式为 $H（X|Y）=-\sum p（x,y）\log_2 p（x|y）$。

   • 互信息 ：衡量两个随机变量之间关联性的指标，公式为 $I（X；Y）=H（X）-H（X|Y）$。

2. 信源与信道

   • 信源编码 ：通过压缩信息量减少传输成本，常用霍夫曼编码、香农-费诺编码等。

   • 信道容量 ：离散信道最大传输速率，公式为 $C=B\log_2（1+\frac{S}{N}）$，其中 $B$ 为带宽，$\frac{S}{N}$ 为信噪比。

二、重要定理

1. 香农三定理

   • 无失真信源编码定理：存在最优编码方案，使失真度最小。

   • 限失真信源编码定理：在给定失真限值下，存在最优编码方案。

   • 信道编码定理：存在可靠传输方案，使误码率任意小。

三、应用领域

• 通信 ：保障信号传输可靠性，设计信道编码方案。

• 数据压缩 ：通过熵编码和最优编码减少数据冗余。

• 密码学 ：提供信息加密与解密的理论基础。

四、教材版本与资源

• 该书由北京邮电大学出版社出版，有多个版本（如2024版、2020版），配套课件和课后习题资源。

• 部分在线平台（如淘豆网、豆丁网）提供免费电子版及教学文档。

五、发展背景

信息论由Claude Shannon于1948年奠基，经过多年发展，已成为通信、数据科学等领域的数学基础。