复习一下信息论的知识,看一下英文版的。
介绍
信息论探讨的问题:通信的一个很基本为问题是,在一个地方将另一个地方的信息准确的、或者近似的重新恢复出来。
如何在一个不完美的信道里实现完美通信
标题的意思其实就是:当信道中含有噪声的时候,怎么实现可靠的通信。
书中举了几个例子来说明标题中的情况:

分别是:电话线通信、广播、细胞增殖、磁盘读写。
上述四个进程包含的中间过程,都会对原始数据产生噪声干扰。比较特殊的是第四个进程,向我们揭示了:通信并不一定强制要求从一个地方到另一个地方,一次磁盘读写,是对同一块位置进行操作,保留了狭义通信的另一个性质:时间上延迟。
由此,可以对通信重新下定义:发送方将信息发送给信道,信道媒介添加噪声,接收方从信道中延后的接收的信息,这样一个过程。
另一个有意思的例子是二进制对称信道,,对于一个含有噪声的磁盘媒介,作出以下假设:
- 每个比特有$f$的概率出差错
- $1-f$的概率是正确的
概率图表示如下:

$x$代表的是发送方发送的数据,$y$代表的是接收方接收的数据。
以一个真实的二进制格式文件举例子:
假设每次读写都是$f=0.1$,每天读一次,时间十年,那么需要$f\le10^{-15}$才行。
对于上面这个问题,有两种解决方式:
物理方法:制造更好的信道媒介,降低错误概率$f$
系统方法
系统方法是信息论和编码论研究的主要内容,在通信前后加上编码器、解码器,在原始数据中增加冗余。
接收方通过编码器的先验知识,对接收到的信息解码,得到原始信息,以及信道噪声。
核心就是:计算开销、存储开销。
这样,就算信道不是可靠的,也能够进行良好的通信。
专业术语:redundant, gigabyte, binnary symmetric channel, models
二进制对称信道的纠错编码
本节讨论的是,在不考虑重新传输的情况下,怎么来增加冗余来实现可靠通信。