​​信息论与编码公式是通信系统的数学基石，通过量化信息、优化传输效率（信源编码）和保障可靠性（信道编码）解决通信中的核心问题。​​ 香农三大定理（无失真/限失真编码定理、信道容量定理）和霍夫曼/香农-费诺编码算法是核心工具，广泛应用于数据压缩（如ZIP）、加密传输（如HTTPS）和纠错系统（如5G）。

1. ​​信息度量与熵​​
   信息熵 $H(X)=-\sum p(x_i)\log p(x_i)$ 衡量信源不确定性，单位比特/符号。例如，公平硬币的熵为1比特，而 biased 硬币熵更低。联合熵 $H(X,Y)$ 和条件熵 $H(X|Y)$ 刻画多变量关系，互信息 $I(X;Y)=H(X)-H(X|Y)$ 量化信道传输的有效信息量。

2. ​​信源编码公式​​

   • ​​霍夫曼编码​​：对概率降序符号递归合并最小两项，分配0/1码字，平均码长接近熵限。效率 $\eta =H(X)/K$，其中 $K$ 为平均码长。
   • ​​香农-费诺编码​​：按概率二分法分组，累加概率 $P_i$ 取二进制前 $K_i$ 位（$K_i=\lceil -\log p(x_i)\rceil$）。

3. ​​信道容量与编码​​
   离散无噪信道容量 $C=\max I(X;Y)$，连续高斯信道 $C=B\log (1+SNR)$（香农公式）。纠错编码如汉明码 $(n,k)$ 通过冗余位检测/纠正错误，线性分组码生成矩阵 $G$ 将信息位映射为码字 $c=uG$。

4. ​​实际应用示例​​

   • 数据压缩：JPEG（DCT+熵编码）和MP3（心理声学模型+霍夫曼编码）利用限失真定理。
   • 加密传输：RSA算法依赖大数分解难题，而AES对称加密采用代换-置换网络。

掌握这些公式可优化系统设计，例如降低存储冗余或提升无线传输效率。建议结合具体场景（如物联网低功耗需求）选择编码方案，并持续关注量子编码等前沿发展。