信息与冗余
信息论是现代世界非常重要的一种观念，你肯定听过'比特'、'信息熵'之类的词，这些概念似乎都比较技术化。那不搞技术的人也需要了解吗？答案是非常需要。在我看来，信息论并不仅仅是技术理论，更是一种具有普世价值的思想。了解信息论，你就多了一种观察世界的眼光，甚至可以从信息论中推导出一种人生观来。
先来看两条'消息'：
- 怎想再很，末第铎制释能锁其那策铜怎亚，狄幺潢互梯是日方通的。
- 对这些村民来说，星期天是休息的日子，至少不需要到田地里干活。
第一条是我胡乱打出来的，第二条则是 2017 年获得诺贝尔文学奖的石黑一雄的小说《被掩埋的巨人》中的一句话。请问，哪条消息的'信息量'更大？
从直觉上来说，第二条的信息量更大，因为它至少是一条信息，而第一条则完全是乱码。但第二条消息只不过是看起来更有意义而已——信息量更大的其实是第一条。第二条消息中有很多多余的字，即便把有些字去掉，留下空白，你也能猜到它们是什么字。比如说：'星期__ 是休 __ 的日 __。'你一看就能猜到这句话是'星期天是休息的日子'。这种可预测性就是冗余，它降低了信息的实际熵值。