福克-普朗克方程; 我过去知道的熵产生最小原理都是针对热力学过程而言的。在点分布（δ函数）演化出幂率的过程中我们计算了每一步转移

来源: marketreflections 于 2011-10-30 15:21:28 [] [博客] [旧帖] [给我悄悄话] 阅读数 : (27298 bytes)
对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明
zhangxw 发表于 2009-6-21 13:06:52
对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明
张学文（2009-6-21）
1. 在（7）里我们用单步转移把90%的昆虫保留在本格子里，另外各有5%移向前后的相临格子（在一维模型里）的均匀移动规则，使昆虫从最初的集中在一个格子逐步扩散到各个格子。
2. 这样得到的昆虫数量分布图形显示，转移100步以后，不同格子里的昆虫数量十分像正态分布，当转移1000步，就十分类似均匀分布了。如此简单的规则却可获得两种重要分布，有些出人意料。
3. 现在的分析是初步的，仅是凭眼力看图形，认为它们分别符合正态和均匀，而没有做统计学的验证（欢迎有人补充）。
4. 正态分布有个概率最高的中心点。而这个中心点与最初把昆虫集中投放点是一致的。即最初的投放点的位置决定了概率分布的最大值的位置。这与获得幂率分布时的情况不同，那里获得的幂率的概率最高位置与投放点的位置无关。
5. 过去我知道一种经验分布当样本数量很大时，可以从一种分布过渡到另外一种分布。如二项分布过渡到正态分布。但是从来没有想到概率分布可以在过渡到一种分布以后还会再转移到另外的分布。所以这个简单规则下的转移到正态，再转移到均匀的例子着实扩展了眼界。这在理论上的意义有待分析。
6. 幂率也好，正态、均匀分布也好，我们最初給的分布都是昆虫集中在一个格子里。这在连续变量的情况下，应当对应于初始态是个所谓的点分布（δ函数）。所以转移规则就是集中的昆虫如何扩散的规则。在集智俱乐部http://www.swarmagents.com/ 张江的提示下我粗看了维基百科上对福克-普朗克方程的演化的例子。那里的一个动态概率演化图与我用这个思路得到的结果的外形是相同的。这说明他人已经沿着类似思路（处理连续变量的方程）获得了相同结果。让这些知识融合起来对我也是收获。
7. 我过去知道的熵产生最小原理都是针对热力学过程而言的。在点分布（δ函数）演化出幂率的过程中我们计算了每一步转移的信息熵。而这个信息熵的增加是越来越慢的，在达到幂率分布时，信息熵不再随“步数”的增加而加大。这也体现着熵产生最小原理。这个原理在非热力学过程，例如现在的扩散过程，如何应用与体现应当是探索的课题。
8. 再，什么样的转移规则对应熵减少？这是个有启发的问题。
9. 再，我们仅是在一维状态空间中展开了问题。沿着这个思路不难扩展到2维或者3维。这些也有待深入。
10. 已经发现的重要的概率分布并不多，我们初步的探索仅获得了幂、均匀、正态这三个可以是转移演化的结局（为它们找到了原因）。其他的分布如何在本模型下引出，依然是有待深入的事。
11. 本模型显然是个动态的概率分布演化模型，这个模型固然不可能说明一切概率分布的成因，但是肯定有很多实际过程符合这个模型，昆虫数量在各个格子里的转移问题仅是便于说明问题的物理模型。大量的例子有待大家去联系。
12. 好了，作为今年上半年的一个思路扩展，就说这些。前面6-10所提的事，欢迎大家延伸（注：今年我在科学网博客上关于人口的演化的计算， http://www.sciencenet.cn/m/user_content.aspx?id=221822 ，也是一个思路的不同模型的应用）。显然把重要的概率分布中一些分布都用这个思路給出理论说明，会使我们对概率分布成因的认识系统化。
本文引用地址： http://www.sciencenet.cn/m/user_content.aspx?id=239453
本文的标签： 边缘与交叉
评论( 7 ) '发表评论 ｜ 阅读(1131) zhangxw的blog
所有评论
^刷新显示 第 1 页/共 1 页，评论数共 7 篇 <<上一页 下一页>> 跳转到第 页

1 看看东方隐 东方隐 于 2009-6-21 18:46:57 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP



拜读了，实际生活中间二项分布很少会出现的吧，一般都是正态分布。

我这里有个问题，就是当我们看到一个统计分布图的时候，由于数据的有限和误差等等干扰，很难确定它究竟属于哪一种分布，也就是说没有明显的特征，拿任何一种分布去近似都可以看上去差不多。这时候我们怎么样把这些数据定性化呢？仅仅按照过往的经验吗？


>zhangxw在对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
---------------------------

 

2 看看zhangxw zhangxw 于 2009-6-21 21:52:24 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP



>东方隐在回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
---------------------------



拜读了，实际生活中间二项分布很少会出现的吧，一般都是正态分布。

我这里有个问题，就是当我们看到一个统计分布图的时候，由于数据的有限和误差等等干扰，很难确定它究竟属......

 

正规的做法应当是统计检验。这在一般的统计书上是有的。张学文6.21

3 看看计算士 计算士 于 2009-6-21 23:34:52 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP


前天清华航天工程（原力学系）的xudong过来，我们一起研读了您的前面七次笔记并进行了讨论，他还当场做了个matlab模拟来验证您的幂律和正态分布形成规律。现在我先代他提出的几项我们讨论中产生的疑问：

您规定的幂律与正态分布之规则，是不相同的，不知道这后面是不是隐藏了的比较深刻的共同道理？以幂律为例，如果这个马尔科夫过程的微分方程的解本来就是一个幂函数，那构造出幂律是很正常的。另外，根据模拟的结果，幂律之形成，确实与初始分布无关，但正态分布之形成，却依赖于初始状态（必须把所有
蜜蜂放在中间），所以，这两种规则如何统一，或者背后有什么机制，能否请老师再谈谈？

您说的熵的增大，适用于正态分布向均匀分布过渡的例子（如果确实存在这个转变），但对于您制定的形成幂律的规则来说，却并不适合：因为与初始分布无关，所以如果我一开始就是个均匀分布，最后形成幂律，那熵是减少了而不是增大了。

另外，正态分布真的是在向均有分布“变化”么？另外一种可能是，正态分布没有变，只是方差越来越大，以至于最后看起来像均匀分布。有没有这种可能呢？

我自己感觉这后面还是有东西的：在观察者的眼里，随着掌握的信息不断变化，统计分布可以随着时间的流逝变成一个运动过程。但目前来看还不够清楚，还希望老师就这个问题再谈几句。

>zhangxw在对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
---------------------------

 

4 看看zhangxw zhangxw 于 2009-6-22 13:29:49 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP

前天清华航天工程（原力学系）的xudong过来，我们一起研读了您的前面七次笔记并进行了讨论，他还当场做了个matlab模拟来验证您的幂律和正态分布形成规律。现在我先代他提出的几项我们讨论中产生的疑问：
您规定的幂律与正态分布之规则，是不相同的，不知道这后面是不是隐藏了的比较深刻的共同道理？以幂律为例，如果这个马尔科夫过程的微分方程的解本来就是一个幂函数，那构造出幂律是很正常的。
张学文：感谢关注与实验
关于马尔科夫微分方程的解的事，我目前不清楚，希望把您们知道的提供出来。我感到奇怪的不是结果（解）为幂率，而是规则里看不到“幂“（是等差级数），可“解“居然是幂率。
另外，根据模拟的结果，幂律之形成，确实与初始分布无关，但正态分布之形成，却依赖于初始状态（必须把所有 蜜蜂放在中间），所以，这两种规则如何统一，或者背后有什么机制，能否请老师再谈谈？
张学文：我认为这个关系合理，但是我谈不出更多的。
 
您说的熵的增大，适用于正态分布向均匀分布过渡的例子（如果确实存在这个转变），但对于您制定的形成幂律的规则来说，却并不适合：因为与初始分布无关，所以如果我一开始就是个均匀分布，最后形成幂律，那熵是减少了而不是增大了。
张学文：就是，您所得对，我原来的话现在看不全面。我把这个原有的认识撤回吧。另外我也感到分析这种演（进）化过程中的信息熵的变化对于认识非热力学熵的变化，以及认识非热力学的最小熵产生，我认为都是十分有意义的事，值得展开。这些事大家做吧。
另外，正态分布真的是在向均有分布“变化”么？另外一种可能是，正态分布没有变，只是方差越来越大，以至于最后看起来像均匀分布。有没有这种可能呢？
张学文：您说得有道理。我们应当明白目前所谓正态分布，其自变量是从负∞到正∞，而我们现在的离散取值就限定于有限的区间。所以目前的演化情况是合理的。我们离散与连续变量设定本身的好处和特点，而不强求完全相同。
最后，8段短文章是我关于一个总问题的笔记。它距离一个完善的工作很远。公布这个笔记本身就是说明我无力做好这个事，而希望大家共同认识这个知识是有意义的，而由大家共同完善它。
关于最终成为负指数分布函数问题，我期待有人知道它对应的演化规则是什么。
我自己感觉这后面还是有东西的：在观察者的眼里，随着掌握的信息不断变化，统计分布可以随着时间的流逝变成一个运动过程。但目前来看还不够清楚，还希望老师就这个问题再谈几句。


>计算士在回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
---------------------------


前天清华航天工程（原力学系）的xudong过来，我们一起研读了您的前面七次笔记并进行了讨论，他还当场做了个matlab模拟来验证您的幂律和正态分布形成规律。现在我先代他提出的几项我们讨论......

 

 

5 看看计算士 计算士 于 2009-6-24 15:49:21 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP

老师虚怀若谷的态度令人心生敬意。这几天也一直在讨论您的这个思路。如有比较大的进展会放上来。

>zhangxw在回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
---------------------------

前天清华航天工程（原力学系）的xudong过来，我们一起研读了您的前面七次笔记并进行了讨论，他还当场做了个matlab模拟来验证您的幂律和正态分布形成规律。......

 

6 看看Michael0607 Michael0607 于 2009-6-24 18:00:26 回复：对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明 △TOP

 

我随便想了几分钟，说得不对不要见怪。

楼主提出的这个过程，其实就是开放空间当中气体分子扩散的模型。

从热力学的角度来说，这种从正态分布逐渐变为均匀分布的过程，其实就是“冷却”的过程。在这个过程当中，系统各处差异性在降低，其本质就是信息丢失，熵在增加。

这个过程当中，概率分布不应该出现“簇”分布，除非系统受到某种外力的干扰。比如说汽缸、或者环境背景上的磁场等等。如果出现了“簇”状的分布，那么这个分布应该是反映了这种外部“背景干扰”的“形状”，而和这个过程本身没有什么关系。

下班了，得去接LP回家了。没来得及仔细看楼主的命题，有随口说的，楼主不要当真。


>zhangxw在对概率分布簇成因的另一认识途径（8）--对正态和均匀分布等的补充说明中写道：
请您先登陆，再发跟帖！