权威？还是忽悠？打破US News 大学排名的神话 (转贴)

打破 US News 大学排名的神话
  原创：小阳郡主

  【引子】伴随着录取通知书的到来，世界各地申请美国大学的毕业生和他们的家长们正式进入纠结季。

藤飞顾问叹口气：“ US News 那个排名害人啊！A 大学 B 大学的综合实力和口碑差不多，这个孩子其实更适合 A 大学，就因为 US News 给 B 的名次比 A 高了个三五名，学生就宁可每年多花一万块，非得去B 大学。”

这类围绕着学校排名和学校真正实力的困惑和郁闷在全美各地，甚至全世界，每年都在上演。算下来，已经是第33个年头了。

去年11月，一篇评论直指 US News 大学排名的诟病。
这篇犀利的评论节选自一本新的畅销书《数学杀伤性武器》。作者名为 Cathy O'Neil，背景颇为有趣。

        读 Cathy O'Neil 的简介最大的感触就是，学好数学，走遍美国都不怕。作为一个从小就热爱数学的女孩子，Cathy 学业顺风顺水，伯克利本科，哈佛数学博士。事业也颇为辉煌，在哥伦比亚大学当了一阵子教授后，她辞职去了华尔街的一家对冲基金，工资一家伙涨了三倍。坐在金融圈第一排的座位上，眼看着起高楼，眼看着楼塌了，亲眼见证整个金融圈融化掉。2008年金融危机后，她进入华尔街另一家公司，试图用数学工具和实际数据来建立金融圈新秩序，最后却发觉自己只是一枚橡皮图章。2011年，经济好转，她发现自己这种数据分析的人才炙手可热，进入纽约一家创业公司 Intent Media。可是她越在数据里面打滚，越意识到，大数据是怎样可以像一件大规模杀伤性武器一样，让贫富之间的鸿沟越来越不可逾越，直接威胁到民主的存亡。有钱有底气，她彻底辞掉工作，潜心钻研这件事。于是有了这本畅销书《数学杀伤性武器》。

一言以概之，《数学杀伤性武器》一书讲述的是大数据时代的尴尬。我们的生活被算法和模型结合数据操控着，听起来多么有效率，公正而公平。可作者觉得不是。这些算法和模型，晦涩难懂，缺乏监管，未经验证。数据科学家们和决策者自然需要自我完善；普通老百姓，如你我，也务必时时刻刻地擦亮眼！

大数据导致穷人更穷很好理解，比如：一个穷学生贷不到学生贷款，因为他住的穷地方的邮编让贷款模型给他的风险指数太高，这导致他不能接受帮助他脱贫的高等教育，于是恶性循环。可让我眼界大开的，是作者对 US News 排名的公正性和杀伤力的控诉。

  US News 大学排名的前世今生
  1983年，有一家叫做《US News & World Report》的杂志，眼看就快要办不下去了。于是，杂志社干脆决定放手一搏：给全美国高校弄个排名。

对，在此之前，美国大学是没有给老百姓看的排名的。大家觉得不同的大学就像各种不同的饮食习惯，有人不吃猪肉、有人不吃cheese、有人不吃牛肉。有些大学的毕业生创业成功人士频出，有些出产了很多牛作家，有些善于培养学术研究人员。很难说被乔布斯相中的文理学院 Reed 和被他放弃的加大伯克利分校哪个更好，大家各自灿烂着。高中生们就像电影里面一样，谈恋爱，发展兴趣，抽空学习一下，到12年级申请几个适合自己的大学。

US News 想来是参考了天朝清楚明白的大学排名体系：几所毋庸置疑的最好的大学，十几所地位稳固的第二梯队，几十所也算挺好的重点大学，清清楚楚明明白白。如果高中生们择校的时候，都对着我们 US News 给的排名掂量掂量，那我们不得火得和《时代周刊》一样啊？

第一版的排名纯粹只看各位校长的问卷调查打分结果，斯坦福大学夺冠。杂志销量是上去了，可是很多排名偏低的学校的校长们和校友们都怒了。他们说你们这个排名不公平啊，你们都没看数据。

说到数据，问题就来了。US News 号称其排名标准是每间大学的教育优秀程度（Educational Excellence）。可是何谓优秀的教育呢？

美国前总统 林顿•约翰逊 曾经提出高等教育的终极理想为 “A way to deeper personal fulfillment, greater personal productivity and increased personal reward，” 大概意思就是要培养有目标有追求有效率有回报的四有人才。 这理想说起来响亮，可怎么用数据和模型来衡量呢？US News 的编辑们怎么可以精确地测量一个学校在四年时间里对其学生的影响呢？

US News 如果当时想不出如何将教育优秀程度量化，那也就没有后面的故事了。编辑们花了几年的时间，好歹构造出了一系列评价一个学校教育质量的量化指标。

他们也许无法直接测量学生们能力素质的提高，社交关系的扩展，以及在校期间的各种体验和成长。但是他们可以用学校资源，教师水平，学生学业和毕业后事业的成功来作为间接指标，以进行量化评估。最终排名的依据里3/4就来源于这些参量：SAT 分数，学生／教师比例，以及录取率，毕业率，校友捐赠等等；而另外1/4来自于高校管理层的互评。

  排名公式以外，一切都是浮云
  1988年，这套新排名出台。排名靠后的学校死得很惨：好学生好老师都不爱来了，校友也嫌弃地减少捐款。更可怕的是，这些因素恶性循环，来年排名变得更差。这些一辈子在象牙塔里面攀登学术巅峰的高校校长们再也清高不起来了，必须向一个滥用数据瞎排名的二流杂志低头，就为了爬高几个名次。

SAT 分数不是越高越好吗？Baylor University 给被录取的学生们钱，让他们再去考一次SAT，这样分数就可以高一截；Bucknell Univsertiy 和 Claremont McKenna College 干脆把假的 SAT 成绩交给 US News。
Iowa College 招认他们从录取成绩，到录取率，到毕业率全面作假，把它在东北部地区的排名生生从50名推升到第13名。
大多数高等学府还不至于那么下作，他们像好学生一样，提高每一门功课的分数。并不是把学校变得更优秀哦，而是把这个系统当作一个游戏，操纵里面的参数，在规则之内，用最有效的方法把排名给拱上去。

  排名导致的双输
  从表面上看，这不挺好一事儿吗？学校排名高了，学生校友都与有荣焉。可是当这些努力都是用来提高一个衡量学校质量的统计量时，问题就来了。

双输案例一
美国学生申请大学都有保底学校（至少还有你），目标学校（实事求是），和狗屎运学校（万一梦想实现了呢？）。现在就没有那么爽了，因为用生命博排名的学校越来越多了。他们致胜的关键之一就是申请的人越多越好，这样才显得自己炙手可热。学校看了看这些好学生，以往数据显示，他们多半会被那些梦想学校抢走的，所以，干脆拒了他们吧。这样可以提高yield rate (入学人数相对录取人数的比例），从而提高排名。就这样，高中生们越来越无法枕着保底学校安心睡觉，学校也失去了部分本来可以招来的优秀学生。
双输案例二
1988年 US News 公布第一份基于算法的排名时，是怎样服众的呢？编辑们意识到他们的算法必须得把 Harvard, Stanford, Princeton, Yale 这四大名校排在头几名，大家才会点点头说：靠谱。这些学校好在哪里呢？SAT入学分数高，毕业率高，校友有钱且对学校乐善好施，校运动队牛，设施牛，师生数量比高。那么剩下的学校，这几点要是做得越好自然就是越好的学校。
可是，这个公式里面少了一条：投入成本。没有了这条，US News 相当于交给高校校长们一本空头支票，你们去厮杀吧。以 Texas Christian University (TCU) 为例。近年来，TCU 排名连续提升。砸下去多少银子？
羊毛自然要出在未来要进来读书的，将要背负巨大学生贷款的小羊身上。在排名慢慢攀升的同时，TCU 的学费以更快的速度升高。

这倒不光是 US News 排名造成的。整个社会的氛围就是这样，相信牛校毕业就可以保障一生的财富和权力。US News 高校排名只是和这种观念相得益彰而已。花钱变得更加顺理成章，大学学费在1985年到2013年间，疯涨了五倍。这个事实，大家就当做没看见。

  算法下，凡事皆可明码标价
  2014年，US News 世界数学系排名第七的学校竟然是沙特国王大学 (King Abdulaziz University)，仅比哈佛低一位，超过了麻省理工和剑桥。最让人跌破眼镜的是，这个系成立才不足两年。

擦亮眼睛看看，就明白了，国王大学开出了7万2千美元的高工资给客座教授。而这些教授每年只需要坐着商务舱飞过来两次，在五星级豪华旅馆里面住着，工作一两个礼拜。最关键的是，这些教授被华丽丽地列在国王大学的教授名单上，在发表论文时也加上国王大学为他们的第二就职院校。

就这样，国王大学的教授名单上面聚集了全世界第一流的教授（各大学科都有）。而这些教授发表的论文研究被引用的次数，依据文献索引引擎和 US News 的算法，就都可以算到国王大学头上。
遍布全球的国王大学客座教授。

更有甚者，高产高影响力的学者还可以得到进一步的学术研究经费。
加州大学教授在博客里公布的邮件内容。

  奔跑吧，小老鼠们！
  在 US News 大学排名算法的笼罩下，各学校录取愈发公式化，愈发看重各种和排名相关的可量化指标；学生申请人于是也拼命修饰自己的这些指标，把别人踩下去，让自己得到更好的录取机会。

一个四天的升学集中训练营花费16000美金。这四天里，高中生们被训练做两件事：在面试中胜出，以及把所有的课外活动包装得漂漂亮亮地呈现给大学招生官。

硅谷一家华人开的升学中介公司在书中“榜上有名”。该公司的商业模式为，提供申请咨询并担保未被录取则全额退款。它的创办人 Steven Ma 原本是对冲基金的量化分析员，通过数据分析建立模型，基于申请人12项指标可以准确地估计申请人被某个给定学校录取的机会。按照该模型的估计，他为每个学生的申请服务 “量身定价”。比如，一个 GPA=3.8，SAT=2000 加上 800小时课外活动的孩子纽约大学的机会是 20.4%，进南加大的机会是 28.1%。按照这些概率值，学生交 $25,931 购买 Steven Ma 的针对纽约大学的申请咨询套餐服务，而 Steven Ma 则以不录取即退款担保他会进纽约大学；同时南加大的咨询服务套餐和担保，因为难度略低，则只需$18,826 。就这样，每一个孩子头顶上都有一个数字，每一个学校都有一个算法，把他们连接起来进行等价交换的就是白花花的银子。

在天朝的高考制度下，大家只需要为高考搏命就好了，一切都是透明的。在美国，有钱人可以花钱聘请摸清了这套排名系统和录取规则的顾问来进排名更高的学校；穷人靠教育翻身的希望就更加渺茫。更可怕的是，这些上万块钱的包装，每周几个小时的训练，并没有让孩子们成为更优秀的人。大家就像一群在算法这个黑箱子里的老鼠，拼命往上爬而已。

  伤害还在继续
  鉴于 US News 的大学排名有诸多弊端，奥巴马政府曾试图用另外一个排名系统来取代之。此举遭到大学校长们的一致抵抗。这些年里花了多少银子去提高自己的 US News 排名，你现在又来一套不一样的评级标准，这不得折腾死人啊？结果，政府妥协了。改为要求教育部将各大学数据都放在网上（College Scorecard Data），包括平均班级大小，毕业率，学费，毕业生平均负债，等等。用户则可以按照自己的需求来筛选适合自己的学校。听起来很美好，可是 US News 还在每年公布排名，多少心仪美国大学的中国学生家长和中介把它当作标杆来决定申请目标。这个武器的威力仿佛核弹，既然投掷了下去，爆炸过后辐射犹存，祸害又何止一两代人。

  大学排名仅仅是冰山一角
  在这本书的其它章节里，作者谈到大数据对社会各种层面的危害。除了大学排名以外，还列举分析了过度依赖算法在教师评级，保险，招聘，信用排名，广告推送中的危害。

初看此书，很容易让人联想到以前看过的经济学家写的《Freakanomics》（中译名：魔鬼经济学）和《Outliers》（中译名：异类）。这两本书用数据统计结果贯穿始终，推导出结论。

而《数学杀伤性武器》和它们不一样，根本不用数据来说话。每章用实例分析得出同样的结论：用数据和算法建立的模型很容易被操纵；而且受这些模型伤害最大的都是穷人和少数族裔；长久以往，穷人越来越穷，少数族裔越来越被歧视。

那么，解决方案呢？作者认为，不能只盲信利益最大化的市场，更不能指望貌似公允结果危害性极大的数据和计算机算法。要靠人的智慧，靠建立数据模型的人的良知和社会责任感。

这个方案，不得不说，听起来，很弱。
  小编：标美人

（本文图片来自网络）

内容转载自公众号
[藤飞教育]
藤飞教育
了解更多
阅读原文
阅读 73285
131投诉
精选留言 写留言
32
Yun
没想到大学排名有这么多内幕，长见识了。????
4月3日
30
haihong
感谢大牛解释大学排名的神话是如何制造的，丝毫没看出如何能打破啊。有了数据排名，就都跟排名走了，不积极利用这个系统只有更惨
4月3日
22
作者回复
排名就是把一个复杂的高维空间里面的东西简单粗暴地降为简单的一维排序。怎么可能靠谱呢？ 想真正了解想申请的大学，唯有老老实实做功课多方面了解分析一条路走。金榜题名时，人生的三个重大事件之一岂能用一个简单的排名就草率决定呢。
4月4日
26
溜溜妈
真是一文点醒梦中人啊！学统计学的时候老师就说统计学家是仅次于律师的谎话精。谢谢阳郡主心血力作！
4月4日
25
BK•大葵
排名从来就是一个用一个模子去套全世界的过程。中国的浙大兼并了一堆二本，就能带来排名的大幅度提升，我是不理解这中间实力的提升在哪里。QS的排名，牛津剑桥还能排在前列，也没什么道理更不要说，母校清华现在在某些学科，也能排进世界前三了。看着也觉得高兴，额头上豆大的汗珠还是不停往下滚的记得读过一篇关于用sci/ei来管理大学教授的利弊的文章。内容记不清了，大意是牛校不用，靠老师自觉，中下的学校用处比较大。排名这些工具，也许也有同样的适用性。所以呢，排名什么的，都是忽悠老百姓的浮云
4月3日
8
作者回复
????
4月4日
24
一诺二运
记得有报导说东北大学就是plays the ranking game and beats the system, 通过海撒邀请信提高申请数来降低自己的录取率提高排名，蹭蹭蹭跃入本科前50的。
4月3日
23
sunny
转发自己的文字也不能打赏，难得写篇正儿八经的文章，看完特别想鼓励我的，麻烦点击藤飞教育，去给我打赏
4月4日
12
生如夏花
还有人羡慕天朝的高考！衡水中学和毛坦厂中学的孩子们都笑了，海走正在向大家招手，搬到雄安去就是熊走了
4月3日
9
作者回复
书里面其实有一段讲述中国孩子因为被禁止作弊不而抗议的，因为“别人都作弊”，无论原作者和本作者都没有为天朝高考制度唱赞歌的意思。
4月4日
10
pei
这篇太牛了！
4月3日
7
作者回复
谢谢????
4月4日
10
怡然
看完沉重感觉到这个排名是来忽悠我们中国父母的。难怪可以称great的就那么几个，也就1234靠谱，剩下的就是你好我好大家都好的Good..
4月4日
3
作者回复
很遗憾，就是这样的
4月4日
10
frada
妃子们目光如炬啊！！！
4月3日
9
Carol
我一直觉得各种排名都不靠谱，没想到的是为了这个不靠谱的排名，大学也这么这么不靠谱这么黑幕！
4月4日
8
yuaner
其实申请贷款一类的credit risk数据模型是不允许用可以discriminate 穷人社区的邮编数据的
4月4日
4
作者回复
书里这么写的耶，不知道来源是否正确。
4月4日
8
Sam Yan
呵呵，严重怀疑非牛校领导们没实力提高自己院系地位胡乱瞎整的
4月3日
7
?哈?哈?總???
????原创，排名本来就是生意
4月4日
2
作者回复
精辟
4月4日
6
魁魁格
善恶同源
4月4日
4
LG
倒数第二段的想法很好。但是最后一句话，亮了。
4月4日
2
丁帆
你们讨论大学排名吧，我是来膜拜网红的 期待更多多样文章！剧评书评，可嬉笑怒骂可严肃大方，玛雅！吓人！
4月7日
2
天行健
我们不能用现在所谓公平的方法去强化过去不公平的结果
4月5日
2
ZR•行者
这篇文章来的正是时候，录取结果下来了，毕业季快来了，各路操心的父母开始四处取经了
4月5日
1
莹
长见识了！多谢作者
5月24日
1
泡泡
作者写完此文的最大感受是“千！万！别！当！穷！人！” 偷偷说，我看完此文的最大体会是“千万别当中产！”尤其是千万别当有追求的中产。不是吗？对中产自己而言，想再富那么一个阶层，越来越不容易，对中产的孩子而言，想攀上再好那么一点点的学校，越来越艰难？没错，读书做人，自有留人处，各有各的精彩。但是，作为一个国家中坚支柱的阶级，经济上，发展上都受到不同程度的挤压，难道不该引起深思：这个社会究竟怎么了？
4月7日
1
Paganini Hu????
每个学校都有自己的特色，我们应当充分发挥长处，而不是一味地看排名图个名气而错失了本身在某些方面很优秀的学校
4月5日

作者回复
就是这样的????
4月6日
1
小青+大紅袍
最近被梅長蘇羈絆著，竟沒發現小陽郡主發了篇好文。普通人家的孩子似乎都在乎：考高分，參加若干小時的社會活動，盡可能拿些大賽的獎……有沒有考慮他們的愛好是什麼？將來什麼職業能保持哪怕遇到困難也不放棄的毅力?當然，還有學費幾何也是重要因素。考慮這些是不是比盯著大學排名來得實際呀，親！
4月5日
1
????Xiao Chris Zhang????
its a profetional boig for deep analisis
4月5日
1
焦尧森
最后一段是亮点
4月4日

朱潇
写得很好！打算找这本书来看看。
4月6日
以上留言由公众号筛选后显示 了解留言功能详情