试论1“熵”理论的运用和发展

Abstract]:This text mainly discussed the appliance and development of Entropy in other academic fields，It expounded the function which the conception of Entropy has served in the process of fixation of information ,and it also explored the appliance and development which the theory of Entropy had in life science, It introduced us the colorful meanings of the physical concept-Entropy.
[Key words]: entropy. Information. Entropy of minus. Daylights.
[中图分类号]No414.2 [文献表识码]A

一百多年来，熵理论一直是人们谈论的话题。最初作为描述和判断热力学系统的一个状态参量，以后又在统计力学，平衡态热力学、信息论、生命科学等许多学科中植下根来，直到我们将它理解为，表征物质系统状态的复杂程度，而作为探索自然界复杂性的工具，组成了一副令人感兴趣的画卷。它在不同领域的引入和应用,都给各门学科带来了飞跃和进步,使人们格外感到熵的理论发展，有着无限的空间和生命力。
什么是熵理论？熵是热力学中的一个物理量，用来表示某种物质系统状态的一种量度，或说明其可能出现的程度，1865年由德国物理学家克劳修斯首先引入[1]。其数学表达式为：dS≥dQ/T，中文词意是热量被温度除的商，是描述状态的一个函数。在孤立系统内，任何变化不可能导致熵的总值减少，即dS≥0。如果变化的过程是可逆的，则dS=0；如果变化过程是不可逆的，则dS>0。即被称为熵增原理或热力学第二定律的数学表示。熵增原理指明了过程进行的方向，表示孤立系统中发生的自发过程，总是沿着熵增加的方向进行。
在统计物理学中,玻尔兹曼（L．Boltzmann）从物质的分子运动论角度研究了熵，指出了熵的微观本质。熵反映了分子的混乱程度，是无序度的度量。且系统的熵S与微观状态数W的对数成正比，S=kLnw（称为玻尔兹曼关系）。这样熵就成为描述系统宏观状态概率的物理量。于是，熵增原理（热力学第二定律）物理实质就理解为，孤立系统中的自发过程，总是由微观状态数少的宏观状态向微观状态数多的宏观状态过渡。那么，这一切又有什么直观的意义呢？我们说：熵高，或者说宏观状态的概率大，意味着“混乱”和“分散”；熵低，或者说宏观状态的概率小，意味着“整齐”和“集中”。用物理学语言，前者叫做无序，后者叫做有序[2]。
熵理论运用于信息论，其作用如何，又是如何得到发展的？
什么是信息？早年间不过是消息的同义语，现代的社会里信息概念甚广，不仅包含人类所有的文化知识，还概括我们五官所感受的一切，实质上，信息是人类认识世界改造世界的知识源泉[3]。
关于信息和熵的关系，还可远溯至1827年由波耳兹曼(L．Boltzmann)所提出，1929年由齐拉德(L．Sziard)[4]所发展的工作。此外，在1918年，统计学家费歇(R．A．Fisher)因为需要一个标准，来估计实验数据内的信息，被某一给定的统计方法所利用的程度，也做出了一个信息的量度。信息量这个概念由费歇维纳(N.Wiener)[5]和申农（Shanon.C.E）[6]几乎同时以“熵”(entropy)的形式从数学上表达出来，即信息的获得是与不确定度的减少相联系，这就为计量信息找到了答案。
如果一个事件（例如收到一个信号）有n个等可能性的结局，那么结局未出现前的不确定程度H与n的自然对数成正比，即有
H＝Clnn　　（C为常数）　 　（1）

一个电报码从0到9共10个可能结局，不确定程度就是Cln10。当人们收到一个电报码后，就消除了这种“不确定”。这样，人们就从消除了多少不确定程度的角度，来定义一个消息中含有的信息量。4个数码组成一个中文字，因此一个汉字带来的信息量是4ln10或者ln104。申农把不确定程度H称为信息熵，就这样，“信息”这个词进入了科学的领地，它在定量化的进程中又与物理学中的“熵”概念联系起来。 这种对信息的理解完全排除了获得信息的载体是什么的影响，也排除了信息本身对人是否重要之类的干扰，从而使信息这个词在极为广泛的领域中都能应用。
假定一个信息量是n个相互独立的选择结果，其中每个选择都是在0或1中作出，则这个信息量的可能的选择数 Ω值为 于是
令H=n ，则可得到常数
这样计算出来的信息量单位称为比特(bit)，在通信中广泛使用。 一条通讯线路如果1s中能传送75bit的信息，我们就说这条线路传输能力为75比特。而在计算机述评中常用字节(Byte)作为信息量的单位，1个字节是8个比特(1Byte=8bit)，它容得下一个8位二进制数，或说它可记住256个(28)可能状态中究竟是哪一个。平常我们说微机的内存为64k(K为千――kilo)，是说它供用户任意存放数据的空间RAM是64000 Byte(字节)。
上面所讨论的计量不确定程度（或信息）的方法，仅适用于对某事件的结局为几个等可能结局时的情况。当几个结局出现的机会并不相同时，我们可以这样来计量。设有A1，A2，…，An共n个可能的结局，每个结局出现的几率分别为p1，p2，...，pn，则其不确定程度H由下式
给出 (2)
当 时，即等可能结局情况下，由于各结局出现机会相等，有 ，（2）式则还原为
这就是等可能结局情况下的计量公式（1），因此（1）式仅是（2）式的一个特例，（2）式就是信息熵的一般定义，它是由申农把熵的概念引入信息论中得到的，故又称为申农熵。[6]
由此可知，任何一门学科逐步成熟的一个重要标志，就是它的一些重要概念从定性走向定量化。信息熵的提出，使得信息论逐步建立起其完备的科学体系。此后本世纪40年代以来，通信技术的发展可谓一日千里，新的通信方式不断涌现，其种类已不胜枚举，如微波、长距离波导、激光、光导纤维、对流层、流层、人造卫星等等。通信应用的领域也不断扩展，病人可以吞下诊断器向医师报告病情，自动控制装置可以从月球上将信息发回地球……总之，现在可供利用的巨大的信息量正在高速度增长。于是，信息的表示方法愈来愈成为一个重要而迫切的问题，而信息论正好提供了表示信息的一般原则。同时，自然界存在着不断变化着的复杂的组织系统——生物，而人类本身也在发展那些越来越复杂的系统，例如电子计算机、自动控制系统、自学习机、自繁殖机、机器人，甚至还有人工智能机和自动进化机等等，它们的机能取决于成功而有效的通信联系，而信息论正好提供了信息传递的普遍原则。毫不夸张地说，熵在信息论中引入，引起了人类社会的信息革命，促进了社会各方面的飞跃发展。
其次，熵理论与生命科学相结合，使之成为生命变化的重要因素。
普利高津根据非平衡统计物理学的发展指出，一个远离平衡的开放系统，通过不断地与外界交换物质和能量，在外界条件的变化达到一定的临界值时，可能从原有的混乱状态，转变为一种在时间和空间上或功能上的有序状态。这种远离平衡情况下所形成的新的有序结构就是耗散结构[2]。耗散结构告诉我们：均匀态具有最大的混乱度，熵是最大的，有序结构的出现意味着熵的降低。因此耗散结构理论突破了热力学第二定律只适用于孤立系统的限制，将其适用范围推广到开放系统，并将热力学地二定律的数字表达式改为ds=dis+des。其中ds为系统的熵变；dis为系统内不可逆过程的熵变，即熵产生且恒大于、等于零；des为系统与外界交换物质与能量而引起的熵变，称为熵流。对于孤立系统，des=0，ds=dis≥0，这就是熵增原理。对于开放系统，ds≠0，只有ds＜0，（负熵流），同时deS＞diS ,就有系统的熵变ds＜0. 这时， 系统的熵不是增加，而是减少，因而有序度增加，系统就可以进化为更加有序，组织化程度越来越高的状态。由于一切有机体乃至人类社会都是偏离乃至远离平衡态的开放系统，所以扩展后的热力学第二定律，就可以完全适用于生命和社会等不断进化的活生生的现实了。
先从人个体的生长，来看胚胎的发育、成长过程，是由生殖细胞（含有较少的信息量—简单、无序）分化出不同器官、发育成为成体（含有较多的信息----复杂、有序）。这个在母体中所进行的无序到有序的过程，必然有deS＜0，即熵流从系统（母体）流向了外界，使总熵变dS为负。客观上是母体吃进了有序，或按薛定谔（Schrodinger）的说法[1]：“生命之所以能存在，就在于从环境中不断得到负熵”。因为人们进食（主食和副食），不是吃进了分散（无序）的原子，而是吃进了由已经含有高度有序的分子构型所构成的动植物。由于负熵的作用（利用了外界的物质和高能）使胎儿在母体中生长为高度的有序体----成熟的婴儿而呱呱落地。而成熟的生命有机体，每天保持着大致相同的状态，可近似看成稳态。所以成熟的机体在一定时间内可以表为：dS=diS+deS≈0（稳态）。其中diS为一定时间内因系统内部发生的过程引起的熵变；deS为一定时间内因系统与环境之间的物质与能量的交换而引起的熵变。而机体内的生化反应，物质的扩散，血液流动等过程是不可逆的，因此diS＞0，为了补偿diS的正值，deS必为负。deS又分为两项：一项是由于同环境进行热交换而引起的熵变，其值可正、可负；另一项是由于同环境进行物质交换引起的熵变，有机体不断从环境摄取高度有序的低熵大分子物质（如蛋白质、淀粉等），而排泄出的是有序小的高熵小分子物质（如CO2、水汽、尿、汗等），这就保证了deS为负值。因而机体内部不可逆过程中产生的熵传给了环境。
早在1944年量子力学的创始人之一薛定谔(Schrodinger)，就在他著名的小册子里《生命是什么》一书中指出：生命有机体要摆脱死亡，就是要活着，唯一的办法就是从环境里不断地吸取“负熵”。吸取了一串“负熵”去抵消它在生活中产生的熵的增加，从而使它自身维持在一个稳定的而又很低的熵的水平上。否则，一个生命有机体在不断增加它的熵，或者可以说是在增加正熵，并趋于接近最大值的熵的危险状态，那就是死亡。生命有机体就是依赖负熵为生的[2]。可以这样认为，生命的诞生、成熟和死亡都与熵有着密切的关系。
现在科学前沿人们正在把熵引入到遗传学的基因研究中，提出了生物熵的概念。希望通过人工对DNA遗传信息密码，进行切割和重组，并在里面引入外来基因，人为地改变遗传密码，形成新转基因生物，从而使之具备人们需要的性质。例如弄明白人体器官是怎样按时间顺序和空间位置发育的，则就能克隆新的器官；同时正在研究进行基因治疗，对一些由于基因突变所导致的癌症，可进行转基因治疗。现在弄清人的全部全长基因的计划正在进行。基因的研究将提供关于人类，及其它生物的DNA结构组成和特性的详细信息，对人类认识自身，揭开生命奥秘，奠定21世纪生命科学发展的基础具有重要意义[1]。

迄今熵理论在各门学科的运用，都取得了丰硕的成果，证明了跨学科研究，能推动着各学科的进步，也证明了熵理论是一个非常复杂的，含义相当丰富的综合体，所以世界上的任何事物都不是孤立地存在着，而总是与其他事物相互联系着和彼此影响着的。对于从生产实践中不断地发展着的现代自然科学和技术科学，我们决不能用片面的、孤立的、形而上学的观点去对待，而应该努力去探索和发掘不同领域、不同学科之间的内在联系。要突破学科的框框，打破专业的界限。所谓的“它山之石，可以攻玉”，以此来促进各门学科的共同发展。我们相信熵理论一定还有许多尚未认识的要义，对其深入的研究必将对各个领域的发展，起到巨大的推动作用。可以说熵理论研究是一个可望取得硕果的领域。

参考文献：
[1]秦允豪 .普通物理学教程 热学 高等教育出版社[M] 1999 10
[2]赵凯华 罗蔚茵 新概念物理教程 热学 高等教育出版社[M] 1998 9
[3]陈润生 熵 百科知识[J] （10）78 （1981）
[4]L.Szilard，Umber die Entropieveminderung einem　　thermod ynamischen System bei Eingriffen intellgentrr Wesen ,Z.phys.53,[J]840-856(1929)
[5]N.Wiener,[J]控制论。科学出版社（１９６２）
[6]C.E.Shannon[J]，信息论理论基础，上海科学技术编译馆（1965）
[7]L.Brllouin，Science　and Information theory，Acad　Press，New　York，[J]（1962）