这件事情，实际上是萨默斯失势的开始。韦斯特是位著作等身的学者，通俗读物固然写过几本，但是纯粹的学术著作也不让于人，在学界声望卓著。人家灌不灌光盘，是人家的事情。而且，这样有原创性的教授，常常不守规矩，什么都玩。这常常是其原创力的源泉。萨默斯一个行外人出来教训人家认真搞学术，确实太过傲慢。至于教学，韦斯特是个明星教授，学生喜欢，缺几堂课乃属小节。要知道，越是得宠的教授，学生越等着听他的课，缺一堂课大家也不会抱怨。相反，那些低能教授的课，大家度日如年，缺课成了一种解放。相比之下，韦斯特有他红的道理。更重要的是，萨默斯对韦斯特不能怎么样。相反，韦斯特是个大明星，惹了他，他就上媒体和你打架，说你坏话，让你无心他顾，干不成别的事情。
果然，韦斯特不久就被普林斯顿当宝贝一样地挖走，并且在普林斯顿红得发紫，还上各种媒体攻击萨默斯。他的同事也出来助战，甚至透露要效法韦斯特另谋他就。没有几年，有“梦之队”之誉的哈佛黑人研究人才流失，已不复当日之辉煌。
一波未平，一波又起。萨默斯跑到哈佛大名鼎鼎的肯尼迪政府学院，质疑该学院是否比法学和商学院更能为学生的公共服务作了准备，结果举座震惊，大家觉得校长认为这个学院没有存在的理由了。虽然他事后一再解释自己被误解，但人们对他那种目中无人的印象也无法去除。
类似的事情，还有许多。但是，哈佛是个各系各自为政的地方，大家互相不通气。萨默斯得罪的人虽然很多，但是反对力量没有汇集起来，似乎不可能威胁他的权力。这也是他的失算之处。他照样嘴上没有把门的，胡乱放炮。结果，2005年初，他在一个内部会议上提出女科学家少是否是因为男女先天有所不同的假说，被捅到媒体上，成为举国的新闻。
这个事件，按说是件小事，但是给萨默斯的反对力量提供了一个汇集点。经过女权主义30多年的努力，美国早已形成了一套男女平等的“政治正确”的话语格式。挑战这样的话语格式，等于把自己树为公敌。如果萨默斯过去没有树太多的敌人，他事后道歉，事情也就过去了。但是，他这次漏嘴，给自己的敌人提供了一个公共话语系统。本来很少见面的不同系的教授开始频繁碰头、互通电子邮件，商量如何对付他。结果，2005年哈佛教授们在历史上首次对自己的校长投了不信任票。
哈佛的制度是董事会任命校长，教授的不信任票不具法律效力。董事会事后表示支持萨默斯，哈佛学生也给了萨默斯信任票，他似乎足以度过危机。但是，正如我曾经分析的，美国是教授治校，教授表明这样的态度，萨默斯基本上已经大势已去。因为他在教授中成了公敌，他的改革根本无法实施。更糟的是，他分裂了校园，破坏了哈佛的公共形象，甚至可能影响哈佛的募捐活动。他已经从一个为哈佛解决问题的人，变成了哈佛的问题。他已经没有再在这个位置上待下去的理由。
但是，萨默斯并没有意识到问题的严重性。2006年1月，他正在瑞士开会，哈佛的学生报纸透露了文理学院院长威廉·C．柯比（William C．Kirby，中文名为柯伟林）即将辞职的消息。柯比是著名的中国史教授，被萨默斯任命为文理学院院长，其一大使命，就是主持哈佛本科课程的改革。但由于萨默斯到处生事，整天被媒体追击，本科课程的改革不得不被放在一边。大概也是因为这方面进展太慢，萨默斯决定撤掉柯比。本来，一个院长的去留，是校长权力之内的事情。况且柯比也说他辞职是双方协商的结果。但是，这件小事，显然成为倒萨的最后一棒。有许多人说，柯比辞职的消息，是萨默斯在本该柯比自己宣布前有意泄露以羞辱柯比的，可见这位校长是如何难处。于是反萨默斯的人又被动员起来，教授们再次准备开会，要提出对萨默斯的第二个不信任案。
在柯比宣布辞职的第十天，即2月7日，文理学院的教授举行了他们和萨默斯的例行会议，场面异常火暴。15位教授当面指责萨默斯，甚至说他“屡次失信”，竟没有一位教授站出来为萨默斯讲话。等萨默斯离开会议的时候，他开始意识到了新的现实：反对者们不仅铁定心要把他搞倒，而且有组织。他打电话找自己在文理学院的支持者，让他们出来为自己说话。可惜，这样的支持者已经很难凑够数目。而他的大本营经济系，这次几乎不敢出来说话，怕触犯众怒，帮倒忙（经济系的一些教授等他宣布辞职后才出来赞扬他的业绩）。甚至有人干脆说自己觉得非常悲哀，因为明摆着“比赛已经结束”。
掌握萨默斯去留大权、并一向支持他的董事会，此时也开始顶不住了。教授们的决心是明摆着的：只要萨默斯不走，我们每次开会就要通过一个对他的不信任案。更有教授和董事会成员联系，声言再保萨默斯，我们就公开到媒体上说哈佛的坏话。董事会的成员开始和各学院的院长、高级行政人员以及教授沟通，最后得出的结论是：“再保萨默斯已经没有意义。”当董事会一些成员和他的朋友，特别是克林顿政府中的几位大员表明他不可留时，萨默斯终于缴枪了。据知情人说，当时他非常愤怒，觉得董事会背叛了自己。
这次倒萨成功，说明了美国一流大学的几大特点。第一，虽然理论上是董事会决定谁当校长，但是离开教授的支持，校长还是玩不转。教授治校，可谓名不虚传。第二，文理学院目前还是大学的核心。萨默斯在教授中并非没有支持者。他背后的力量，都集中在经济学家、科学家和哈佛的各个职业学院（如医学院、法学院、商学院）教授之中。这次他辞职后，法学院的著名教授、当年辛普森案的律师艾伦·德肖维茨（Alan Dershowitz）愤怒地指责校董事会屈服文理学院教授们的压力，称这是一次一小撮文理学院教授组织的“学术政变”。可惜，他忽视了一个基本现实：哈佛之所以是哈佛，在于其文理学院，哈佛精英主要是那里培养出来的。各种职业学院只是旁支而已。所以文理学院教授不仅人数多，而且发言权非常之大。另外，事后的民调表明，萨默斯虽然在教授中大失人心，但在哈佛学生中的支持率有3比1的绝对优势。哈佛学生报纸《哈佛深红报》（The Harvard Crimson）也一直支持萨默斯。可惜这一切，都无法挽救萨默斯的命运。
我们认真检讨萨默斯的倒台过程就能看出，使他受致命伤的几次冲突，都是可以避免的小事，没有一件事情是阻碍他实现自己教育理想的大事情。在小事情上引火烧身，最后干不成大事，反映了萨默斯性格中根本的弱点：他少年得志，恃才傲物。用一位教授的话说，他在任何场合，都本能地要表现出自己是屋子里最聪明的人。当教授、学者也许要有这种好胜心，但要驾驭世界顶尖的学者集团，这样做就让人讨厌了。平心而论，如果我是哈佛的教授的话，我也许支持他的所有主张，但不希望他当校长。因为他动不动会跑到你的领域里来指手画脚，好像比你高一筹，给你挥手指个方向，你就像小工兵一样跟着走。真正的世界一流学者，有几个受得了这一套呢？
萨默斯走了。不过，他的人格的缺陷，不能掩盖他的理想的价值。他确实撼动了故步自封的哈佛。甚至有位教授说，几十年后回首，也许人们会发现这几年是哈佛最好的时期。萨默斯究竟是位改革的烈士，还是位学术独裁者，看来还要由历史来评判。
