它们并不相同，但它们是相关的。特别是，如果你看一个保存个“计算机”位的计算机内存，其中每个位可以被认为是随机的并且独立于所有其他位，并且大约有 50% 的零，那么内存也大约保存了个“信息论” “位。$M$$M$

当然，通常情况并非如此：计算机位通常是相关的，而不是均匀随机的。这就是为什么它们可以被压缩。从某种意义上说，诸如 LZW（信息论术语中的“源编码器”）之类的压缩程序通过使每个计算机位保存一个信息位来工作。

编辑添加：这个例子可以使区分更清楚。考虑一个具有两个输出的无记忆源，和，每个输出的概率为 0.5。显然，每条消息中的信息是一个（信息）位，但它的长度是三个（计算机）位。诸如 Huffman 算法之类的源编码器将很容易地将消息编码为和，从而压缩源输出。您可以轻松地将此示例外推到生成 ASCII 编码文本的源。$m_1=000$$m_2=001$$c_1=0$$c_2=1$

请注意，对于一般的书面语言，特别是英语，没有人知道实际的源熵是什么，因为没有模型。这就是为什么存在最佳压缩大文本的竞赛的原因。没有人真正确定英语的最佳压缩算法是什么。

比特是一种计量单位，多个量以比特计量。在编程和信息论中，这并不是说不同的东西。这是记忆和信息内容在概念上代表不同的数量。

例如，我们可以使用密码“123456”。如果以 UTF-8 编码，则需要 6 * 8 = 48 位内存。对于现实世界的目的，它的信息内容大约是 10 位。位在两种情况下的含义相同，所测量的数量不同。如果压缩密码，它占用的内存量会减少，但信息内容不会改变。

一个类比：重力和电磁力等物理量都以牛顿为单位，但代表不同类型的相互作用。您可以凭经验看到单位牛顿在两种情况下都代表相同的想法 - 重力和电磁力可以相互平衡（磁悬浮）。

我希望这会有所帮助:)

在数据总线上，我们理论上可以做得比信息论说的要好。我知道如何构建一个电路，让我可以在 6 根线上并行发送 8 位。这涉及使用二极管和上拉/下拉电阻器的技巧，该技巧允许使用数字线的所有三种非燃烧状态来传输信息。6条线的3种状态，我得到729种可能的状态，这让我可以在主通道中携带EOF、INT、CLK和断开连接，并且仍然有足够的空间（这只使用了729种状态中的518种）。