信息处理 - 为什么H(一) = H( C)H(A)=H(C)其中是带有附加奇偶校验位CC一种A - 吾爱随笔录

令对每个符号具有相等的概率，并且是奇偶校验生成器，使得现在假设我们传输，其中是中的一个符号，是与之相关的奇偶校验位。我计算的熵如下：并计算新符号的熵，称之为字母，我们需要概率： $A=\{00,01,10,11\}$ $B=\{0, 1\}$

b = {\begin{cases} 0, & if a = 00 or a = 11 \\ 1, & if a = 01 or a = 10 \end{cases}

$b=\begin{cases} 0, & \text{if} \,\, a=00 \quad \text{or} \quad a=11 \\ 1, & \text{if} \,\, a=01 \quad \text{or} \quad a=10 \end{cases}$

(a_{i}, b j)

$(a_i,bj)$

a_{i}

$a_i$

A

$A$

b_{j}

$b_j$

A

$A$

H (A) = 4 [4 \log_{2} (4)] = 2

$H(A)=4 [4 \log_2(4)]=2$

C = {000, 011, 101, 110}

$C=\{000,011,101,110\}$

p_{c} (0) = P (a = 00 and b = 0) = P (a = 00) P (b = 0 ∣ a = 00) = P (a = 00) = 1 / 4

$p_c(0)=\mathbb{P}(a=00 \, \text{and} \, b=0)=\mathbb{P}(a=00)\mathbb{P}(b=0 \mid a=00)=\mathbb{P}(a=00)=1/4$ 同理，的熵为这是怎么回事？中每个符号的位数更多。

p_{c} (1) = p_{c} (2) = p_{c} (3) = p_{c} (0) = 1 / 4

$p_c(1)=p_c(2)=p_c(3)=p_c(0)=1/4$

C

$C$

H (C) = 4 [4 \log_{2} (4)] = 2 = H (A)

$H(C)=4 [4 \log_2(4)]=2=H(A)$

C

$C$