天才一秒记住【舞会小说网】地址：https://www.whwtrl.com
第一节信息、信息熵、信息量
banner"
>
信息（information）是很抽象的概念。
信息是事物及其属性标识的集合。
信息能够帮你逐渐解开头脑中的疑团，消除你对某个事物认识上的不确定性，并由不确定性逐渐变成较为确定或确定。
获得的信息越多，你对事物的了解就越全面，越准确。
信息源是信息的源泉或产生待传送的信息的实体，是提供信息的载体，它无处不在。
信息源所涉及的范围十分广泛，不仅包括所有的知识，还包括通过我们五官感觉到的一切。
任何事物都可以作为信息源。
信息接收者（信宿）是信息的归宿。
信息通道负责将信息源信息传送给信息接收者。
一、信息熵与互信息
信息是一个相对的概念，它自身不能单独存在，必须依附于一定的载体，而且还要和信息接收者及它所要达到的目的相联系，这样才可成为信息。
信息论创始人香农（）于1948年从信息接收者的角度定义：“信息是能够协助信息接收者消除事件不确定性的因素。”
因此，信息的价值和大小首先应该是与信息源本身的特性有关的，同时还与具体的认识目的相联系，它应该能够为认识某个特定事物提供线索，另外，信息的传播途径应该也会影响它的最终价值。
那么，如何来衡量信息的价值大小呢？人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。
从信息源的角度来说，依照信息论的认识，在日常生活中，极少发生的事件一旦发生是很容易引起人们关注的，如发生海啸，而司空见惯的事件并不会引起人们的注意，如太阳又从东方升起。
也就是说，极少发生的事件所带来的信息价值越大。
如果用统计学的术语来描述，就是发生概率小的事件信息量多。
因此，事件发生的概率越小，信息量越大，即信息量的多少是与事件发生频率（即概率大小）成反比的。
1948年，香农提出了“信息熵”
（informatioropy）的概念，是信息论中衡量某个事件自身信息大小的重要指标，也称香农熵。
对于有n种可能取值的离散型随机变量X，香农熵的定义为：
P（xi）是变量X取值为xi的概率，b的取值可以是2、10或其他值。
信息量与信息熵在概念上是有区别的。
信息熵是描述信息源本身统计特性的测量，它表示信息源的不确定度，不管有无接收者，它总是客观存在的量。
信息接收者从作为发送者的信息源中获得的信息量是一个相对的量。
信息量是指从多个可能事件中选出一个事件所需要的信息度量或含量。
在信息论中，认为信息源输出的消息是随机的，即在信息接收者未收到消息之前，不能肯定信息源到底发送什么样的消息。
而通信的目的就是使信息接收者在接收到消息后，尽可能多地解除接收者对信息源所存在的疑义（不确定度），这个被解除的不确定度实际上就是在通信中所要传送的信息量。
因此，接收到的信息量在无干扰时，在数值上就等于信息源的信息熵。
信息熵是状态量，其存在是绝对的；信息量是熵增，是过程量，是与信息传播行为有关的量，往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信息源的平均不确定度，它具有相对性。
对于信息熵和信息量的说明须引入互信息（mutualinformation，MI）的概念。
在概率论和信息论中，互信息是用于描述两个随机变量之间相互依存关系的测量。
具体来说，就是一个随机变量可以通过另一个随机变量获取的信息大小。
对于离散型随机变量和，互信息的定义如下：
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！