信息论基础公式主要包括熵、联合熵、条件熵、相对熵（Kullback-Leibler距离）和互信息等核心概念。以下是具体公式及说明：
-
熵（Entropy）
衡量随机变量不确定性，公式为：
$$ H(X) = -\sum_{x \in X} p(x) \log p(x) $$其中，$p（x）$为随机变量$X$的概率分布。
-
联合熵（Joint Entropy）
描述两个随机变量$X$和$Y$的联合概率分布，公式为：
$$ H(X,Y) = -\sum_{x \in X} \sum_{y \in Y} p(x,y) \log p(x,y) $$适用于离散随机变量。
-
条件熵（Conditional Entropy）
表示在已知随机变量$X$的条件下，随机变量$Y$的不确定性，公式为：
$$ H(Y|X) = -\sum_{x \in X} \sum_{y \in Y} p(x,y) \log p(y|x) $$可通过联合熵和边缘熵推导：
$$ H(Y|X) = H(X,Y) - H(X) $$ -
熵的链式规则（Chain Rule for Entropy）
描述多变量联合熵的分解，公式为：
$$ H(X,Y,Z) = H(X) + H(Y|X) + H(Z|X,Y) $$适用于任意数量的随机变量。
-
相对熵（Kullback-Leibler Distance）
衡量两个概率分布的差异，公式为：
$$ D(p | q) = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)} $$用于比较分布$p$和$q$的相似度。
-
互信息（Mutual Information）
衡量两个随机变量之间的依赖性，公式为：
$$ I(X;Y) = H(X,Y) - H(X) - H(Y|X) $$反映$X$和$Y$共享的信息量。
注意 ：以上公式中，对数底数通常取2（单位为比特），但也可取自然对数（单位为纳特）。实际应用中需根据具体需求选择底数。