少女祈祷中...

复习一下信息论的知识,看一下英文版的。

介绍

信息论探讨的问题:通信的一个很基本为问题是,在一个地方将另一个地方的信息准确的、或者近似的重新恢复出来。

image-20240427152805269

如何在一个不完美的信道里实现完美通信

标题的意思其实就是:当信道中含有噪声的时候,怎么实现可靠的通信。

书中举了几个例子来说明标题中的情况:

image-20240427155515457

分别是:电话线通信、广播、细胞增殖、磁盘读写。

上述四个进程包含的中间过程,都会对原始数据产生噪声干扰。比较特殊的是第四个进程,向我们揭示了:通信并不一定强制要求从一个地方到另一个地方,一次磁盘读写,是对同一块位置进行操作,保留了狭义通信的另一个性质:时间上延迟。

由此,可以对通信重新下定义:发送方将信息发送给信道,信道媒介添加噪声,接收方从信道中延后的接收的信息,这样一个过程。

另一个有意思的例子是二进制对称信道,,对于一个含有噪声的磁盘媒介,作出以下假设:

  • 每个比特有$f$的概率出差错
  • $1-f$​的概率是正确的

概率图表示如下:

image-20240427160554360

$x$代表的是发送方发送的数据,$y$代表的是接收方接收的数据。

以一个真实的二进制格式文件举例子:

image-20240427160738788

假设每次读写都是$f=0.1$,每天读一次,时间十年,那么需要$f\le10^{-15}$才行。

对于上面这个问题,有两种解决方式:

  1. 物理方法:制造更好的信道媒介,降低错误概率$f$

  2. 系统方法

    系统方法是信息论和编码论研究的主要内容,在通信前后加上编码器、解码器,在原始数据中增加冗余。

    image-20240427161155263

    接收方通过编码器的先验知识,对接收到的信息解码,得到原始信息,以及信道噪声。

    核心就是:计算开销存储开销

    这样,就算信道不是可靠的,也能够进行良好的通信。

专业术语:redundant, gigabyte, binnary symmetric channel, models

二进制对称信道的纠错编码

本节讨论的是,在不考虑重新传输的情况下,怎么来增加冗余来实现可靠通信。