最大信息熵原理

来源: marketreflections 2008-06-07 06:43:19 [] [博客] [旧帖] [给我悄悄话] 本文已被阅读: 次 (5002 bytes)
http://www.kxcb.com/web/showart.asp?id=62

熵的概念

熵与温度、压力、焓等一样,也是反映物质内部状态的一个物理量。它不能直接用仪表测量,只能推算出来,所以比较抽象。在作理论分析时,有时用熵的概念比较方便。

在自然界发生的许多过程中,有的过程朝一个方向可以自发地进行,而反之则不行。例如,一个容器的两边装有温度、压力相同的两种气体,在将中间的隔板抽开后,两种气体会自发地均匀混合,但是,要将它们分离则必须消耗功。混合前后虽然温度、压力不变,但是两种状态是不同的,单用温度与压力不能说明它的状态。再如图4b所示的两个温度不同的物体相互接触时,高温物体会自发地将热传给低温物体,最后两个物体温度达到相等。但是,相反的过程不会自发地发生。上述现象说明,自然界发生的一些过程是有一定的方向性的,这种过程叫不可逆过程。过程前后的两个状态是不等价的。用什么物理量来度量这种不等价性呢?通过研究,找到了“熵”这个物理量。


有些过程在理想情况下有可能是可逆的,例如气缸中气体膨胀时举起一个重物做了功,当重物下落时有可能将气体又压缩到原先的状态。根据熵的定义,熵在一个可逆绝热过程的前后是不变的。而对于不可逆的绝热过程,则过程朝熵增大的方向进行。或者说,熵这个物理量可以表示过程的方向性,自然界自发进行的过程总是朝着总熵增加的方向进行,理想的可逆过程总熵保持不变。对上述的两个不可逆过程,它们的终态的熵值必大于初态的熵值。

在制氧机中常遇到的节流阀的节流膨胀过程和膨胀机的膨胀过程均可近似地看成是绝热过程。二者膨胀后压力均降低。但是,前者是不可逆的绝热膨胀,膨胀前后熵值肯定增大。后者在理想情况下膨胀对外作出的功可以等于压缩消耗的功,是可逆绝热膨胀过程,膨胀前后熵值不变,叫等熵膨胀。实际的膨胀机膨胀会有损失,也是不可逆过程,熵也增大。但是,它的不可逆程度比节流过程小,增加的熵值也小。因此,熵的增加值反映了这个绝热过程不可逆程度的大小。在作理论分析计算时,引入熵这个状态参数很为方便。


熵的单位为 J/(mol·K) 或 kJ/(kmol·K)。但是,通常关心的不是熵的数值,而是熵的变化趋势。对实际的绝热膨胀过程,熵必然增加。熵增加的幅度越小,说明损失越小,效率越高。

在没有摩擦的平衡过程中,单位质量的工质吸收的热量 dq 与工质吸热时的绝对温度T的比值叫熵的增加量。其表达式:ΔS=dq/T。

其中 ΔS = S2-S1 是熵的变化量,熵的单位是(kJ/kg·k),若某过程中气体的熵增加,即 ΔS>0,则表示气体是吸热过程。

若某过程中气体的熵减少,即 ΔS<0,则表示气体是放热过程某过程中气体的熵不变,即则表示气体是绝热过程。


现代熵概念
熵的概念最初是由R.J.克劳修斯在19世纪中叶建立的,1870年,玻耳兹曼给出了熵的统计解释,并确立了公式S=klnW。熵概念对于初学者,一直是一个较抽象并难以通俗表达的物理概念。但是,近40年来,熵的概念有了迅速而广泛的发展。在天体物理中,黑洞的熵与面积这样的几何概念有联系;在信息论中,信息的熵与信息量的概念有联系,并且出现负熵的概念;在生物学中,生命现象也与熵有着密切关系。此外,由普利高津和哈肯建立的非平衡态统计耗散结构理论及协同学理论,使人们对熵规律有了更新的认识,在无序中产生有序机制的出现,使得熵在许多方面都显示出它的重要性。


 


热力学统计物理中有熵增加原理,在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。

在很多情况下,对一些随机事件,我们并不了解其概率分布,所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如,我们只知道一个班的学生考试成绩有三个分数档:80分、90分、100分,且已知平均成绩为90分。显然在这种情况下,三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下有无限多组解,该选哪一组解呢?

(平均成绩)
(概率归一化条件)

即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢?这个挑选标准就是最大信息熵原理。

按最大信息熵原理,我们从全部相容的分布中挑选这样的分布,它是在某些约束条件下(通常是给定的某些随机变量的平均值)使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。

在我们把熵看作是计量不确定程度的最合适的标尺时,我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的,是主观成分最少,把不确定的东西作最大估计的分布。

任何物质系统除了都受到或多或少的外部约束外,其内部总是具有一定的自由度,这种自由度导致系统内的各元素处于不同的状态。而状态的多样性,状态的丰富程度(混乱程度、复杂程度)的定量计量标尺就是熵,熵最大就是事物状态的丰富程度自动达到最大值。换句话说,事物总是在约束下争取(或呈现)最大的自由权,我们把这看作是自然界的根本原则。

在给定的约束条件下,由最大信息熵原理求“最佳”概率分布,就是求解条件极值问题。在某些场合,常用拉格朗日乘子法来确定此分布。
一般地,拉格朗日乘子法的法则可叙述如下:欲求n元函数f(x1,x2,…,xn)在m个约束条件

  (6)
下的条件极值,可用常数1,依次乘f,把结果加起来,得函数

   


然后列出 无约束条件时具有极值的必要条件    (7)
这n个方程(7)与m个方程(6)联立解出n+m个未知数x1,x2,…,xn , 。而其中x1,x2,…,xn就是可能为极值点的坐标,称为驻点。
从信息论中发展起来的最大信息熵原理,使人们开始把统计物理看成是信息论的特例。这使我们看到熵概念的强大生命力,也看到了熵概念和熵原理的重大意义。

卡诺循环与卡诺热机

克劳修斯的发现

熵的含义

熵增加原理

信息

熵与信息

最大信息熵原理



所有跟帖: 

信 息 熵 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (5283 bytes) () 07/11/2008 postreply 14:34:09

最大熵原理:简单形式 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (8483 bytes) () 07/11/2008 postreply 14:58:16

信 息 熵: 从不确定到确定, 知识量, 信息量 (图) -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (5373 bytes) () 07/13/2008 postreply 17:05:29

1:双方势均力敌;2: 双方实力悬殊;1赛完:人们获得信息量大 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (3414 bytes) () 07/11/2008 postreply 14:42:46

最大信息熵原理:了解概率分布,掌握与随机事件有关平均值 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (2009 bytes) () 07/11/2008 postreply 16:32:35

最大熵模型:读书笔记; 数学之美 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (10037 bytes) () 07/11/2008 postreply 16:54:30

最大信息熵原理:了解概率分布; 张学文的博客 -marketreflections- 给 marketreflections 发送悄悄话 marketreflections 的博客首页 (1344 bytes) () 07/11/2008 postreply 19:53:03

请您先登陆,再发跟帖!

发现Adblock插件

如要继续浏览
请支持本站 请务必在本站关闭/移除任何Adblock

关闭Adblock后 请点击

请参考如何关闭Adblock/Adblock plus

安装Adblock plus用户请点击浏览器图标
选择“Disable on www.wenxuecity.com”

安装Adblock用户请点击图标
选择“don't run on pages on this domain”