武夷山：美國大學排名的新探索

　　■這份報告的最可貴之處，是提供了大量原始數據。如果你不同意報告所采用的賦權方法，則完全可以利用這些數據，按照你自己確定的權重來重新評價。　

　　2010年9月28日，美國國家科學院、國家工程院和國家醫學研究院共同發布了一份研究報告：A Data-Based Assessment of Research-Doctorate Programs in the United States(基于數據對美國科研與博士培養計劃之評估)。報告總共用20項指標對212所大學的5000多項計劃進行了評估。

　　這次的定量評估，在方法上有兩個特點。

　　首先，不搞確定的排序，而對每一評估對象估計一個名次區間。例如，杜克大學在“生態學與進化生物學”領域處于約1至4位，普林斯頓大學在“天體物理學與天文學”領域處于1至10位，等等。由于被評價事物的復雜性，由于指標的波動性和不確定性，大家普遍認為，區間式的評估比給出一個確定位次更合理。

　　其次，賦權方法的探索。這次采用了兩種賦權方法。一種是最傳統的，請專家們給不同指標(例如，科研計劃及博士生培養計劃每位教師的平均發文量和被引量)賦權。第二種方法是請專家們對不同大學的各種計劃排出具體的序來，哪家第一，哪家第二，再用統計方法進行權重擬合，看看什么樣的權重分配方案能夠產生最接近專家排序的序列。順便說一句，第二種方法也是科學網博主俞立平教授所倡導并嘗試過的。兩種賦權方式產生的評價結果當然有差異，但是一般說，優秀的大學，無論用哪種賦權方式來評價，都會名列前茅，只是具體的位次區間有差異而已。另外，兩種賦權方法的共同傾向是：重視科研產出指標，重視博士生培養規模指標，而“對學生的關照程度”和“學生畢業后的表現”之類指標都被給了較低權重。筆者猜測，這些專家們都是在重視科研產出指標的氛圍里成長起來的，自然也不假思索地強調這些指標。

　　這次評價的兩大缺點，一是太不及時。上一次類似評價是1995年做的。這一次，由于經費資助方面的問題，工作耽誤了下來。該報告公布的數據中，最新的數據是2005年的，這當然解不了渴。不過，該報告的委員會主席、普林斯頓大學天文學家 Jeremiah Ostriker認為，“做得對”比“做得快”更重要。

　　第二個缺點是對交叉學科計劃評價不當。交叉學科計劃不好評價，是個老大難問題(可參見陳立和武夷山的《〈促進交叉學科研究〉述評》一文，http://www.sciencenet.cn/m/user_content.aspx?id=12097)。這次評價，是看某計劃當中有多少其他專業的老師兼職，兼職的人多，就認為該計劃的跨學科性強。可是，某些計劃徹頭徹尾就是跨學科性的，所有教師都是全職人員，按照現在的評價方法，反而在“跨學科性”上得了零分。

　　這份報告的最可貴之處，是提供了大量原始數據。如果你不同意報告所采用的賦權方法，則完全可以利用這些數據，按照你自己確定的權重來重新評價。事實上，中國科學技術信息研究所“中國科技論文統計分析課題組”多年來的工作思路正是這樣的：提供經過清洗的可靠數據，也提供一套供您參考的評價指標權重。至少第一方面的工作對您有幫助。

　　我曾經說過：“無論在我國還是其他國家，基于科學計量學的評估活動和評估結果總是引起很多爭議。可以看出，盡管存在著爭論，但美國聯邦政府對于這類研究的支持是扎扎實實的。他們希望通過切實可信的研究成果來推進基于科學計量學的科研績效評估，而不是一碰到爭議就退縮，因噎廢食。”(武夷山，《改善科學測度學之科學性》，http://www.sciencenet.cn/m /user_content.aspx?id=330790)。

　　美國三院這份報告的出臺，再次證實了我的看法。

　　(作者為中國科學技術信息研究所研究員。本文參考文獻：Emma Marris，US school ranking names no winners, Nature, 30 Sept. 2010 I 467: 510——作者注)