经常论坛中大家争论A和B是否有差别?(比如娃上藤校和非藤校有差别么?)其实,这就像买车一样,有的人买Honda, 有的人买BMW。个人觉得只要适合每家的经济情况和爱好程度等都是好的选择。同理,对于选校我也是这么认为的。当然不同人有不同的见解,有的人觉得BMW就是好,她又她的理由这么认为。同理开Honda 有的人也觉得非常好,也是一个道理。
如果一定要从科学的角度,分出是A和B否有差别,难度不小,主要在于随机选取对照数据方面,观察指标和观察时间是的长度上等等。
一般要求apple to apple comparison. 基本要求这两组对照数据相似性要高,比如有相似的高中GPA,ACT/SAT等等。因为芝加哥大学的科研人员(https://journals.sagepub.com/doi/10.3102/0013189X20902110)发现高中GPA是影响学生大学毕业的一个重要指标。要严格证明A和B有差别,要首先至少随机选两组数据有基本相同的高中GPA等。对于有的学校来说,难度不小,比如藤校和非藤校,不太容易随机得到两组大的数据具有相似的高中GPA等特征。
如果GPA等存在差异,没法从统计意义上严格证明娃以后的差别这主要是学校导致的差异,还是这些人的因素(比如GPA,ACT/SAT 等)导致的差异,或者其它因素,或者它们相互作用导致的差异等。
另一个难点,即使我们有很好的对照数据,学生毕业后一般有大约四十多年的工作时间。我们要观察他们多久,刚毕业的情况,还是5年,十年,。。。。。。,还是四十年等。时间不一样,结论也可能不同。而且时间越长,又怎么从统计上证明这些指标是由多年前的学校而不是其它因素导致的?
第三个难点,观察的指标是什么,收入,职位,自我感觉的幸福度,或者其它贡献比如科研,获奖,义工,创业等等。选取的指标不同,结论也可能不一样。
不像新药随机对照实现,两组数据比如在年龄,性别等的差异非常小。因为年龄很可能是一个影响康复的一个重要指标,比如年轻人对一些疾病如感冒等,自愈比例很高。但对一些老年·人比如90+很可能是致命的。这一步主要是排除这些因素的干扰。
建立在这个基础上,我们观察的指标可能比较容易达成共识比如康复,降低胆固醇等。如果有差异的话,基本短时间比如半年内可以观察到。如果统计分析得到了差异。这大概率是药物的作用(当然也有可能新药根本没有作用等因为没法100%保证统计结论正确)。
所以说,不容易从统计意义上证明到底是否A和B有差别,难度在数据,观察指标和时间的选取上等等。最终可能是上A的觉得这是一个非常好的决定,她能列出N条理由。上B的也觉得是一个非常好的决定,她也能列出N 条理由。就像买车一样。