薛定鄂猫相对于“死”或“活”: 不死不活的时候, 设N是系统S内的事件总数，则熵。当且仅当p1=p2=...=pn时，等号成立，

http://zh.wikipedia.org/zh/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

信息熵也称信源熵、平均自信息量。



E 代表了期望值的函數

one cat is found dead or alive, no more expectation, E 期望值 become reality, or statistics

期望, 客观山（运动，能量）在主观的反映，主观山

在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為夏農熵（英语：Shannon entropy）。

目录 [隐藏]
1 定义
2 範例
3 熵的特性
4 参见


[编辑] 定义
當一個離散的隨機變數 X 出現的機率是{x1, ..., xn}，它的熵值 H 就是：


在這邊，E 代表了期望值的函數，而 I(X) 是 X 的資訊量（又稱為資訊本體）。

I(X) 本身是個隨機變數。如果 p 代表了 X 的機率質量函數（probability mass function），則熵的公式可以表示為：


在這裏 b 是對數所使用的底，通常是 2, 自然常數 e，或是10。當b = 2，熵的單位是bit；當b = e，熵的單位是 nat；而當 b = 10,熵的單位是 dit。

pi = 0时，对於一些i值，对应的被加数0 logb 0的值将会是0，这与极限一致。


[编辑] 範例

抛硬币的熵H(X)（即期望自信息），以bits度量，graphed versus the fairness of the coin Pr(X=1).

注意图的最大值取决於分布；Here, at most 1 bit is required to communicate the outcome of a fair coinflip; but the result of a fair die would require at most log2(6) bits.如果有一个系统S内存在多个事件S = {E1,...,En}，每个事件的機率分布 P = {p1, ..., pn}，则每个事件本身的訊息（資訊本體）为：

Ie = − log2pi（对数以2为底，单位是位元(bit)）
Ie = − lnpi（对数以e为底，单位是纳特/nats）
如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的訊息量为：


而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为：


熵是整个系统的平均消息量，即：


因为和热力学中描述热力学熵的玻尔兹曼公式形式一样，所以也称为“熵”。

如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。

实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算是一个总体概念。使用书写单元越多的文字，每个单元所包含的訊息量越大。

[编辑] 熵的特性
熵均大于等于零，即，。
设N是系统S内的事件总数，则熵。当且仅当p1=p2=...=pn时，等号成立，此时系统S的熵最大。
联合熵：，当且仅当X，Y在统计学上相互独立时等号成立。
条件熵：，当且仅当X，Y在统计学上相互独立时等号成立。
[编辑] 参见