其实在概率论中,有一个模型,叫Polya urn模型。这个模型就是描述正反馈机制的漂亮模型。设一个罐子(urn)里面有r个红球和g个绿球。每次,我们从罐子里随机拿出一个球,看看球的颜色,然后放回罐子中,并加入c个同种颜色的球。令Xn表示第n步时,罐子中绿球的比例。运用概率论中“鞅论”的知识,我们容易计算出Xn的极限分布是一个BETA分布Beta(g/c,r/c)。
后来,有许多Polya urn模型的推广,并且稍微改变一下模型放球的机制,Xn的极限行为会出现非常大的变化。
由于Polya urn模型中的Xn是一个非时齐马氏链,所以在方法上,不能用教科书中处理时齐马氏链的手段处理。鞅被证明是一个有效的方法。