信息理论 ¶

课程学习内容 ¶

信息论是以前信工的必修，现在变成了工高的课。

信息论是服务于通信的应用数学，将生活中的信息载体（如文字）建模成随机变量序列，以此和概率论挂钩。然后，用概率作为工具解决几个问题：

1. 如何高效地编码：输入一个随机变量序列，需要多少 bit 才能做到几乎无差错地表示（几乎指的是当序列长度趋向于正无穷时，出错的概率趋于 0）这个理论下限对应香农第一定理；
2. 如何高效地传输：对一个有噪声的信道，我们需要更多的比特才能完成几乎无差错的传输（给定一个输入序列和一个有噪声信道，需要找到一对编码器 / 译码器，使得编码尽可能地短）这个理论上限对应香农第二定理；
3. 如何高效地有损压缩：给定一个误差 D 和一个失真度量函数 d（类似距离函数，用来衡量压缩结果相对于输入的偏离程度），要找出一对编码译码器，使在误差期望小于 D 的前提下，编码尽可能地短。

先修要求 ¶

学过数分 I 的同学都能学。名义上是高级概率论，实际上几乎仅用到了概率论中的切比雪夫不等式，以及高中概率论，这些不需要提前准备。另外，极限思想对理解当输入序列长度充分大时，他们几乎都是典型列（一种特殊的输入序列）有帮助。

任课教师 ¶

课程教材 ¶

• 《信息论与编码》（仇佩亮）：比较清晰易懂，适当时会用文字和图表帮助理解，内容同 PPT。