vol01 信息论中，熵是对系统无知度（或信息量欠缺）的量度。处理信息的能量消耗问题,1比特的信息量等于loge2，对应的熵为-

来源: marketreflections 于 2011-07-24 10:19:14 [] [博客] [旧帖] [给我悄悄话] 阅读数 : (897 bytes)

在信息论中，熵是对系统无知度（或信息量欠缺）的量度。

对于系统的信息若仅限于若干宏观参量，对其微观状态的细节一无所知，那么我们将预期该系统处于熵为极大值的状态。因为，如果处于熵较低的状态，则必定会提供更多的信息。这就是杨及斯（E.T.Jaynes）于1957年提出的原理。
例如，在非平衡态的气体中，我们可能测出描述其宏观流动的数据，因而获得了较高的信息量；而到达平衡态后，只需要少数几个宏观量来描述其状态，熵的增加就意味着信息的减少。

处理信息的能量消耗问题

从信息论的角度，1比特的信息量等于loge2，对应的熵为-kloge2，所给出的热量变化也正好等于kTloge2。
1比特的信息，最少需要kTloge2的能量。

请您先登陆，再发跟帖！