正态分布就是方差确定条件下，满足熵值最大的分布

也谈神秘的最大熵原理

2009-05-09 17:58

熵原理本来是个热力学概念，可是在20世纪，人们发现它和很多概率分布有着神奇的联系。在信息学里，也有重要的信息熵的概念。 比如正态分布就是方差确定条件下，满足熵值最大的分布。 负指数分布，是均值确定条件下，满足熵值最大的分布。 伽马分布，是代数均值和几何均值都确定条件下，满足熵值最大的分布。 还有赫赫有名的极值分布，Gumbel Distribution，也是满足简单约束条件下，满足熵值最大的分布。 当然约束条件的选取，确实很蹊跷，这样选有什么深层含义呢？ 我最想问的问题是，能不能把最大熵原理，这个一般表现为求极值的问题，转化成一个守恒的问题呢？好比理论力学里，动量守恒，能量守恒实际上等价于哈密顿原理等一些极值原理。。。 那么按理说，最大熵原理完全应该存在对应的守恒原理。。。这个原理到底是什么？我相信数学上可以做出这样的一个转换，这也应该是目前数学能够做出来的。 具体过程可以借鉴从哈密顿原理推出能量/动量守恒定理的方法过程，从而推导出（可能需要一定的猜想）一个可能的守恒量，然后再采用实验验证。最后扩大检测范围，看守恒是不是在更大的范围内存在. 有了这个守恒，完全比捉摸不定的最大熵原理，更容易被人们把握，即使只有数学意义，那也很有价值。如果有物理意义的话，就更有意思了。 最重要的是，这些推导过程可能会让我们对C=-∑pi×log pi这个熵的定义公式有新的认识，实际上我认为这个公式只是特例，可能还存在其他类似于“最大熵原理”的东西。应该有比这个公式（看上去非常人造）更精致的原理存在，而且能够在特定条件下，比如应用在概率场合，就.转化成上面的特例形式。 这是本人的一些基本的想法。大家对这个问题有什么看法么？ ========================== 最大熵可以改造成关于概率空间的命题，变化的概率，不是事件真的随机性改变了，而是概率空间在改变。满足约束条件的最大的概率空间，其结果就是熵最大的结果。这个“最大”颇令人费解，是维数？自由度？在我看来更应该是满足某种变换不变性（同伦？）的不变量度。由于只有对于有限维有维数概念，而概率中常常出现无限维，导致满足同伦不变性的通常维数失去意义，这时又没有新的变换概念，所以造成费解。其原因在于对于无穷维的不变量的认识比较少，最大熵其实就提供一个天然的不变量定义，这是个入口 ========================== 我提一个可能是反对的意见：守恒原理一般而言都是可逆过程，但最大熵原理是不可逆过程，如何让他们和谐起来呢？搂住另一个观察很深刻，守恒都来自于极值问题。 ==========================