一、信息熵
自信息I(xi)是指信源（物理系统）某一事件发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息I(xi )是一个随机变量，它不能用来作为整个系统的信息的量度。
山农定义自信息的数学期望为信息熵，即信源的平均信息量:
信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。例如，两个信源，其概率空间分别为：
则信息熵为：
可见，H(Y)>H(X),说明信源Y比信源X的平均不确定性要大，即在事件发生之前，分析信源Y，由于事件y1 ,y2 是等概率的，难以猜测哪一个事件会发生；而信源X，虽然也存在不确定性，但大致可以知道,x1出现的可能性要大。正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。
也可以这样理解，信息熵H(X)表征了变量X的随机性。如上例，变量Y取y1和y2是等概率的，所以其随机性大；而变量X取x1比x2的概率要大的多，这时变量X的随机性就小。因此，熵反映了变量的随机性，也是表征随机变量统计特性的一个特征参数。
二、信息熵的基本性质
1、对称性
当概率空间中P(x1),)P(x2)…序任意互换时，熵函数的值不变，例如下面两个信源空间:
其信息熵H(X)=H(Y)。该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关，同时也说明所定义的熵有其局限性，它不能描述事件本身的主观意义。
2、确定性
如果信源的输出只有一个状态是必然的,即P(x1)=1, P(x2)=P(x3)=… =0,则信源的熵:
这个性质表明，信源的输出虽有不同形态，但其中一种是必然的，这意味着其他状态不可能出现。那么，这个信源是一个确知信源，其熵为零。
3、非负性
即H(X)>0。
因为随机变量X的所有取值的概率分布为0
当取对数的底大于１时，logP(xi)0,则得到的熵是正值，只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵来说，这一性质并不存在。
4、可加性
即统计独立信源X和Y的联合信源的熵等于它们各自的熵之和。
如果有两个随机变量X和Y，它们彼此是统计独立的，即X的概率分布为［P(x1),P(x2),..., P(xN)],而Y的分布概率为［P(y1), P(y2),... ,P(yM )],则联合信源的熵
可加性是熵函数的一个重要特性，正因为有可加性，所以可以证明熵函数的形式是唯一的。
5、极值性
信源各个状态为零概率分布时，熵值最大，并且等于信源输出状态数，因为当P(x1)=P(x2)=...= P(xN)=1/N时，
例如，信源有两种状态时，概率空间
其H(X)-P(x1)关系如图2-12所示, 当P(x1)=1/2时，熵有最大值。以上分析表明，对于具有N个状态的离散信源，只有在信源N个状态等概率出现的情况下，信息熵才能达到最大值。这也表明，等概率分布信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。
图2-12还进一步说明，如果二进制信源输出是确定的，即P(x1)= 1，则H(X)=0，此时表明该信源不提供任何信息；反之，当信源输出为等概率发生时，信源的熵达到最大值，等于1bit信息量。
三、信息熵与热力学熵
以上把信源的平均信息量定义为熵。熵(Entropy)这个字来源于统计热力学，它的中文意义是热量被温度除所的的商，相 同热量的温度高则熵小，温度低则熵大。在通信系统中，信源的信息熵的定义和热力学熵的定义在表达形式上是相同的，两者在物理概念上有一定的联系。
广义地讲，热力学的熵是物理系统无序状态的描述，是紊乱程度的测度。热力学熵总是增大的，此即热力学熵不减原理。
信息熵也可以认为是信源紊乱程度的测度，亦可用来表征物理系统运动状态的不确定性（无序性），通过通信收到信息后，消除了这种不确定性，就获得信息。例如，当消息通过系统传输到收信者后，信源的熵要改变，在信息论中，信息熵只会减少，不可能增加，这就是信息熵不增原理。
回页首
