什么是信息量

信息量是指消息中包含的新颖度和确定性。一条天气预报说"明天会下雨"比说"明天会有天气"提供更多信息，因为它排除了其他可能性。信息量可以通过计算事件发生概率的倒数来量化，概率越小，信息量越大。 tossing a coin得到正面结果的信息量比 tossing a loaded coin得到正面的信息量大，因为前者概率为50%，后者可能达到90%。一条消息的信息量还取决于接收者的先验知识，对专家来说，基础科学报告的信息量往往小于对初学者的信息量。

信息量在数据压缩和通信系统中至关重要。MP3文件压缩音频时，保留重要信息同时去除冗余，减少了数据量但保持了音质。USB 3.0比USB 2.0传输速度快5倍，在相同时间内能传递更多信息。一本1000页的百科全书包含的信息量远超一张报纸，即使后者可能更新及时。二维码能存储数百字符信息，而传统条形码只能存储20个字符左右，展示了信息密度的差异。信息量的增加直接提高了数据处理的效率和决策的准确性。