信息理论导论

1. 什么是信息？

• 信息理论从不同的角度定义信息，通常涉及信息的量化、编码和传输。

2. 如何测量信息？

• 测量信息通常通过“熵”来表示。熵度量了一个信源的不确定性，或者说消息的平均信息量。香农提出的熵定义是信息理论的基石。

3. 如何在空间（通信信道）和时间（存储媒介）中表示信息？

• 信息传输和存储不仅仅是关于数据本身，而是如何有效地编码和解码。信息需要通过合适的信道进行传输，并且需要使用合适的存储介质来存储和恢复。

相关定理

1. 源编码定理（Source Coding Theorem）

• 这是信息理论中的一个重要定理，指出源信息可以通过最小化冗余来有效地进行编码。该定理为数据压缩提供了理论基础，强调了每个信息源的最小码长。

2. 香农第一编码定理（Shannon’s First Coding Theorem）

• 该定理描述了如何将信息通过信道传输而不发生信息丢失。它提出了在给定信道容量的情况下，编码方案的有效性，并解释了编码如何在传输过程中最大化信息的传输。

3. 信道编码定理（Channel Coding Theorem）

• 该定理提供了理论支持，说明在带有噪声的信道中，信息可以被有效地编码，使得传输可靠性最大化，尽管噪声存在。它提供了错误更正的框架，确保在信道中传输的信息能够正确无误地被接收。

4. 香农第二编码定理（Shannon’s Second Coding Theorem）

• 该定理深入探讨了如何在有限的信道容量和噪声干扰下进行有效编码。它表明，给定一个信道的容量，存在某种编码方式可以达到零误差传输的概率。

Shannon 熵的四个公理

Axiom 1（归一性，单位熵）

当只有两个等概率事件（如抛硬币）时，熵取 1 比特：

这规定了熵的单位，通常以比特（bit）为单位。

---

Axiom 2（单调性）

设有 $n$ 个等概率事件，则熵是关于 $n$ 的单调非减函数：

其中 $H(n)$ 随着 $n$ 递增，即：

这表明，当可能的状态数增加时，不确定性也增加。

---

Axiom 3（连续性）

如果概率分布发生微小变化，则熵的变化也应当是连续的，即：

这确保熵函数不会发生突变或不连续的跳变。

---

Axiom 4（分支性/递归性）

熵满足如下递归性质：

这意味着，如果一个系统可以分成多个部分，则其总熵可以拆分为部分熵和条件熵的加权和。

---

引理 1:

$h(nm) = h(n) + h(m)$

证明步骤：

1. 设有 $nm$ 个事件，假定这些事件的概率分布是均匀的，即每个事件的概率为：

   $$P(X_{ij}) = \frac{1}{nm}, \quad 1 \leq i \leq n, \quad 1 \leq j \leq m.$$

2. 我们可以将这 $nm$ 个事件分成 $n$ 组，每组包含 $m$ 个事件。每组的总概率为：

   $$P(X_i) = \sum_{j=1}^{m} P(X_{ij}) = \frac{m}{nm} = \frac{1}{n}.$$

3. 根据信息熵的递归性（公理 4），总熵可以拆分为以下两部分：

   • 组之间的熵：$h(n)$
   • 组内的条件熵：$h(m)$

4. 因此，系统的总熵为：

   $$h(nm) = h(n) + h(m).$$

结论：

我们得到了总熵的分解公式：

引理2:

$h(n) = \log_2n$

证明

1. 根据引理一：

   $$h(2 \cdot 2) = h(2) + h(2) = 2h(2)$$

   推导出：

   $$h(2^2) = 2h(2)$$

   同样可得：

   $$h(2^3) = 3h(2)$$
   $$h(2^4) = 4h(2)$$

   一般地：

   $$h(2^k) = k \cdot h(2) = k$$

2. 对任意 ( n )，存在 ( k )，使得：

   $$2^k \leq n \leq 2^{k+1}$$

3. 根据公理 A2（单调性），有：

   $$h(2^k) \leq h(n) \leq h(2^{k+1})$$

   即：

   $$k \leq h(n) \leq k+1$$

4. 注意到：

   $$k \leq \log_2 n \leq k+1$$

   但并不能确定 $h(n) = log_2 n$

这些四个公理唯一地确定了 Shannon 熵的数学形式：