20151010-數據新聞：當高等院校成為了快活谷 ——大學排名之應用與誤用
數據新聞：當高等院校成為了快活谷 ——大學排名之應用與誤用
21:55 10/10/2015
圖一（圖×吳浚匡）
圖二（明報製圖）
圖三（明報製圖）
【明報專訊】當香港大學處於風眼之中，任何風吹草動皆會引起各界注視。
三間國際性的大學排名機構 Quacquarelli Symonds （QS） 、《泰晤士高等教育》（THE） 和《美國新聞與世界報道》（USNEWS），由九月起分別公布全球大學最新的排名榜。對比去年，香港大學在三個排名都同樣下跌，事件引起傳媒關注。
在校園裏，或至少在我們接觸的圈子裏，很少人會對這些排名太在意，反觀傳媒總愛用跑馬仔方式（horse racing frame）來煞有介事報道。究竟大學排名升降真的能反映學術水平變化嗎？
香港大學的學術水平真的在佔領年間倒退嗎？本文目的是綜合分析大學排名結果，另外也想分析本港報章在報道大學排名時所採用的新聞角度。
排名下降：真是學術水平下降嗎？
首先，本研究集合所有在網上公布的全球大學排名的公開數據，並抽出香港各大學在2014年和2015年的評分及排名。所有的大學評分方法，主要是以一籃子的數據，如論文引用數據、師資、學生出路甚至聲望等等，集結成綜合評分，再根據綜合評分高低作大學排名。結果，我們找到九個大學評分機構當中包括香港各大學的數據，名單如下：
‧Quacquarelli Symonds World University
Ranking（QS）
‧《泰晤士高等教育》
World University Ranking （THE）
‧《美國新聞與世界報道》
Best Global University（USNEWS）
‧Center For World University Rankings
（CWUR，沙特阿拉伯機構）
‧Round University Ranking
（ROUND，俄羅斯機構）
‧CWTS Leiden Ranking
（Leiden，荷蘭萊頓大學）
‧Academic Ranking of World Universities
（ARWU，上海交通大學）
‧University Ranking By Academic Performance
（URAP，土耳其中東理工大學）
‧NTU Ranking（NTU，國立台灣大學）
至執筆日止， QS、THE、USNEWS、CWUR、ROUND、Leiden和ARWU都有更新，NTU於每年雙十公布，URAP未有更新。ARWU網頁並無刊登香港各大學的詳細評分和排名，無法分析。最後分析只包括首六個機構的排名和評分在 2014 和 2015 年之間的變化，見（圖一）。
港大、中大、科大：
平均評分升 排名降
（圖一）所見，具完整數據的港大、科大和中大的評分和排名，升跌並非一致。 THE的三所大學評分都上升，但排名卻紛紛下降。中大在各大排名都下降唯獨是在USNEWS上升，同樣的情况也發生在港大的Leiden排名。唯一各評級機構無論在排名和評分方面都認為是冒升當中的，只有理大。
有機構改評分機制
有機構增加院校數目
必須注意的是， QS已表明他們在今年改變了評分機制，會削弱醫學院和理學院出版文章的引文比重，加強工程、社會科學等等其他部門出版文章的引文比重，令有醫學院的港大和中大優勢減低。而THE 和USNEWS也增加了調查院校的數目，基數不同令排名根本無法直接比較。
本研究的第一個啟示是：評級的方法是會嚴重影響大學評分及排名結果，單看一個機構公布決定大學的成績，其實並不可靠，社會科學稱之為可信度（reliability）不足，但這一點大眾在詮釋結果時往往忽略。
（圖二）再展示六間排名機構港大、科大和中大的平均評分和排名數據的升跌情况。三所大學的評分平均都有上升，但平均排名卻弔詭地在下滑！若假設評分和排名機制轉變對評分影響不大，如某一大學的評分上升，但排名下降，就代表是其他大學冒升速度快過該大學，被追過頭了。
跨年排名跌 不代表學術水平下降
本研究的第二個啟示是：跨年比較某大學的全球排名下跌，不一定代表學術水平下降，可能只是該大學評分的升幅不及其他大學，甚至是因為排名方法轉變影響所致。所以排名下跌就代表學術水平下降的說法，其實並不完全站得住腳。
如果覺得難以理解，可以作以下思想實驗：你的薪金是一萬元，同事瑪莉的薪金是九千元，另一位同事約翰薪金六萬。現在的薪金排名是（1）約翰 （2）你 （3）瑪莉。老闆見你和瑪莉工作努力，分別加薪。你加兩千，瑪莉加三千零一元。約翰因為工作懶散，被減薪一萬。現在你的薪金是一萬二千，瑪莉是一萬二千零一元，約翰五萬。同時老闆決定用薪金三萬聘請新人蘇珊。現在的薪金排名是（1）約翰 （2）蘇珊 （3）瑪莉 （4）你。你的薪金排名由第二位倒退到第四位排包尾，約翰卻穩佔第一。薪金排名中只有你倒退，但偷懶的到底是你還是約翰？如果有人執著你的薪金排名下降一點，批評是你工作懶散所招致，這樣對你公道嗎？
傳媒取態：香港大學的罪與罰？
本研究的第二部分為定量內容分析（Quantitative Content Analysis），研究本港所有報章在報道QS、THE和USNEWS大學排名時的新聞框架（news frame）。
新聞框架是指媒體在報道事件時的取態，就算是建基於同樣的事實，寫出來的論點和筆法都可以很不一樣，就像為新聞設了個框框一樣，令讀者看到框內的東西，卻看不見框外。
受眾閱讀不同框架寫的新聞，對事實的認知或會有所影響。
從慧科新聞數據庫中，我們找來47篇香港報章文章報道以上三個評級的消息，陳電鋸仔細閱讀每一篇新聞，並回答以下的問題（由於問題都屬顯明的提問，所以並無計算編碼員間信度）：
‧有否報道香港大學之外香港其他大學的情况？
‧是否只報道排名升降而沒有報道評分升降？
‧有否向評級機構查詢？
‧有否向第三方人士（即評級機構及校方以外）查詢排名升降原因？
‧有否指出香港大學「政治化」令教職員疏於研究和教學引致排名下降？
‧在報道時，有否表明該評分或排名方法曾有改變會影響結果？
有報章特別注視排名
結果，其中五份報章#「特別注視」大學排名，分別都有五篇新聞提及香港各大學的排名。在報道中，有9％只針對港大評級的情况，無提及香港其他大學。超過75％的報道純粹根據大學排名升降報道，而沒有報告評分升降。同時，只有32％的報道曾有向有關機構查詢，其中有關USNEWS的報道更僅有《明報》表示曾聯絡相關機構，但未獲回覆。只有23％報道表示評分或排名機制有改動會影響比較，66％的報道有詢問第三方意見。有36％的報道指出因香港大學的「政治化」令教職員疏於研究和教學引致排名下降，而曾作這「政治化」理解的，就只有前述那五份「特別注視」大學排名的報章。（見圖三）
傳媒報道時查詢有關機構有助減誤導
如報道時有向排名機構查詢，有73％會同時報道評分或排名機制曾作改動會影響結果，相比沒有向排名機構查詢的報道完全沒有（0％）表示會影響結果，分別顯著（*p<0.001）。此外，如報道有表達港大「政治化」令排名下降，有83％同時引用第三方意見，相比其他報道引用第三方意見的比率57％為高（*p=0.07）。 由此可見，傳媒在報道大學排名時向排名機構查詢有助減少誤導，但引用第三方意見評論大學排名時，容易產生推銷某一政治議題的效果。值得一記在此，某報引述某評論員解釋科大在QS全球排名上升，其理據令人忍俊不禁：「『佔中』三個主要發起人並無一人來自科大。」
註：#《東方日報》、《太陽報》、《文匯報》、《大公報》、《星島日報》
*p數值愈小，代表兩者相差愈大
結語
我們並非在為香港大學說項，而是想借此作個傳媒資訊素養（Media and Information Literacy）的案例。參閱三大學排名機構評級的設計原意，是用作比較同一年內不同大學的表現，而並非設計作比較同一大學在不同時間的變化。傳媒以兩年大學排名來比較同一所大學學術水平升降，有超出原先評審設計的應用範圍之嫌。我們要再三強調，比較跨年大學排名來衡量院校的學術水平進步與否，容易出現誤導，其中一個原因是評分及排名方式，每年都有轉變，原則上沒有跨年的可比性。部分傳媒亦喜歡以大學跨年排名的上落，而非大學評分的升跌，去推銷某政治議題。某些第三方人士，包括有名有姓的大學學者在內，無視大學排名跨年沒有可比性的事實，跟着政治議題的風向，隨便對大學的學術水平妄加判斷，實在令人扼腕。
大學排名也好、評分也好，就像近日多人談論的「影響因子」，用來參考就好，量化的「學術水平」，同時要配合質性的同儕評審。高教界競爭激烈，大學同工都拚命爭取學術成就，不進則退的道理大家都懂。根據大學排名去指控某大學學術水平倒退之際，又有誰關注香港高等教育經費和培訓研究人才的困難，怎樣才可令香港整體的學術水平進步？「外人看熱鬧，內人看門道」，或許因為將大學當成賽馬會比較刺激吧。
文__陳電鋸、傅景華（香港大學新聞及傳媒研究中心）
編輯/屈曉彤、林信君
21:55 10/10/2015
圖一（圖×吳浚匡）
圖二（明報製圖）
圖三（明報製圖）
【明報專訊】當香港大學處於風眼之中，任何風吹草動皆會引起各界注視。
三間國際性的大學排名機構 Quacquarelli Symonds （QS） 、《泰晤士高等教育》（THE） 和《美國新聞與世界報道》（USNEWS），由九月起分別公布全球大學最新的排名榜。對比去年，香港大學在三個排名都同樣下跌，事件引起傳媒關注。
在校園裏，或至少在我們接觸的圈子裏，很少人會對這些排名太在意，反觀傳媒總愛用跑馬仔方式（horse racing frame）來煞有介事報道。究竟大學排名升降真的能反映學術水平變化嗎？
香港大學的學術水平真的在佔領年間倒退嗎？本文目的是綜合分析大學排名結果，另外也想分析本港報章在報道大學排名時所採用的新聞角度。
排名下降：真是學術水平下降嗎？
首先，本研究集合所有在網上公布的全球大學排名的公開數據，並抽出香港各大學在2014年和2015年的評分及排名。所有的大學評分方法，主要是以一籃子的數據，如論文引用數據、師資、學生出路甚至聲望等等，集結成綜合評分，再根據綜合評分高低作大學排名。結果，我們找到九個大學評分機構當中包括香港各大學的數據，名單如下：
‧Quacquarelli Symonds World University
Ranking（QS）
‧《泰晤士高等教育》
World University Ranking （THE）
‧《美國新聞與世界報道》
Best Global University（USNEWS）
‧Center For World University Rankings
（CWUR，沙特阿拉伯機構）
‧Round University Ranking
（ROUND，俄羅斯機構）
‧CWTS Leiden Ranking
（Leiden，荷蘭萊頓大學）
‧Academic Ranking of World Universities
（ARWU，上海交通大學）
‧University Ranking By Academic Performance
（URAP，土耳其中東理工大學）
‧NTU Ranking（NTU，國立台灣大學）
至執筆日止， QS、THE、USNEWS、CWUR、ROUND、Leiden和ARWU都有更新，NTU於每年雙十公布，URAP未有更新。ARWU網頁並無刊登香港各大學的詳細評分和排名，無法分析。最後分析只包括首六個機構的排名和評分在 2014 和 2015 年之間的變化，見（圖一）。
港大、中大、科大：
平均評分升 排名降
（圖一）所見，具完整數據的港大、科大和中大的評分和排名，升跌並非一致。 THE的三所大學評分都上升，但排名卻紛紛下降。中大在各大排名都下降唯獨是在USNEWS上升，同樣的情况也發生在港大的Leiden排名。唯一各評級機構無論在排名和評分方面都認為是冒升當中的，只有理大。
有機構改評分機制
有機構增加院校數目
必須注意的是， QS已表明他們在今年改變了評分機制，會削弱醫學院和理學院出版文章的引文比重，加強工程、社會科學等等其他部門出版文章的引文比重，令有醫學院的港大和中大優勢減低。而THE 和USNEWS也增加了調查院校的數目，基數不同令排名根本無法直接比較。
本研究的第一個啟示是：評級的方法是會嚴重影響大學評分及排名結果，單看一個機構公布決定大學的成績，其實並不可靠，社會科學稱之為可信度（reliability）不足，但這一點大眾在詮釋結果時往往忽略。
（圖二）再展示六間排名機構港大、科大和中大的平均評分和排名數據的升跌情况。三所大學的評分平均都有上升，但平均排名卻弔詭地在下滑！若假設評分和排名機制轉變對評分影響不大，如某一大學的評分上升，但排名下降，就代表是其他大學冒升速度快過該大學，被追過頭了。
跨年排名跌 不代表學術水平下降
本研究的第二個啟示是：跨年比較某大學的全球排名下跌，不一定代表學術水平下降，可能只是該大學評分的升幅不及其他大學，甚至是因為排名方法轉變影響所致。所以排名下跌就代表學術水平下降的說法，其實並不完全站得住腳。
如果覺得難以理解，可以作以下思想實驗：你的薪金是一萬元，同事瑪莉的薪金是九千元，另一位同事約翰薪金六萬。現在的薪金排名是（1）約翰 （2）你 （3）瑪莉。老闆見你和瑪莉工作努力，分別加薪。你加兩千，瑪莉加三千零一元。約翰因為工作懶散，被減薪一萬。現在你的薪金是一萬二千，瑪莉是一萬二千零一元，約翰五萬。同時老闆決定用薪金三萬聘請新人蘇珊。現在的薪金排名是（1）約翰 （2）蘇珊 （3）瑪莉 （4）你。你的薪金排名由第二位倒退到第四位排包尾，約翰卻穩佔第一。薪金排名中只有你倒退，但偷懶的到底是你還是約翰？如果有人執著你的薪金排名下降一點，批評是你工作懶散所招致，這樣對你公道嗎？
傳媒取態：香港大學的罪與罰？
本研究的第二部分為定量內容分析（Quantitative Content Analysis），研究本港所有報章在報道QS、THE和USNEWS大學排名時的新聞框架（news frame）。
新聞框架是指媒體在報道事件時的取態，就算是建基於同樣的事實，寫出來的論點和筆法都可以很不一樣，就像為新聞設了個框框一樣，令讀者看到框內的東西，卻看不見框外。
受眾閱讀不同框架寫的新聞，對事實的認知或會有所影響。
從慧科新聞數據庫中，我們找來47篇香港報章文章報道以上三個評級的消息，陳電鋸仔細閱讀每一篇新聞，並回答以下的問題（由於問題都屬顯明的提問，所以並無計算編碼員間信度）：
‧有否報道香港大學之外香港其他大學的情况？
‧是否只報道排名升降而沒有報道評分升降？
‧有否向評級機構查詢？
‧有否向第三方人士（即評級機構及校方以外）查詢排名升降原因？
‧有否指出香港大學「政治化」令教職員疏於研究和教學引致排名下降？
‧在報道時，有否表明該評分或排名方法曾有改變會影響結果？
有報章特別注視排名
結果，其中五份報章#「特別注視」大學排名，分別都有五篇新聞提及香港各大學的排名。在報道中，有9％只針對港大評級的情况，無提及香港其他大學。超過75％的報道純粹根據大學排名升降報道，而沒有報告評分升降。同時，只有32％的報道曾有向有關機構查詢，其中有關USNEWS的報道更僅有《明報》表示曾聯絡相關機構，但未獲回覆。只有23％報道表示評分或排名機制有改動會影響比較，66％的報道有詢問第三方意見。有36％的報道指出因香港大學的「政治化」令教職員疏於研究和教學引致排名下降，而曾作這「政治化」理解的，就只有前述那五份「特別注視」大學排名的報章。（見圖三）
傳媒報道時查詢有關機構有助減誤導
如報道時有向排名機構查詢，有73％會同時報道評分或排名機制曾作改動會影響結果，相比沒有向排名機構查詢的報道完全沒有（0％）表示會影響結果，分別顯著（*p<0.001）。此外，如報道有表達港大「政治化」令排名下降，有83％同時引用第三方意見，相比其他報道引用第三方意見的比率57％為高（*p=0.07）。 由此可見，傳媒在報道大學排名時向排名機構查詢有助減少誤導，但引用第三方意見評論大學排名時，容易產生推銷某一政治議題的效果。值得一記在此，某報引述某評論員解釋科大在QS全球排名上升，其理據令人忍俊不禁：「『佔中』三個主要發起人並無一人來自科大。」
註：#《東方日報》、《太陽報》、《文匯報》、《大公報》、《星島日報》
*p數值愈小，代表兩者相差愈大
結語
我們並非在為香港大學說項，而是想借此作個傳媒資訊素養（Media and Information Literacy）的案例。參閱三大學排名機構評級的設計原意，是用作比較同一年內不同大學的表現，而並非設計作比較同一大學在不同時間的變化。傳媒以兩年大學排名來比較同一所大學學術水平升降，有超出原先評審設計的應用範圍之嫌。我們要再三強調，比較跨年大學排名來衡量院校的學術水平進步與否，容易出現誤導，其中一個原因是評分及排名方式，每年都有轉變，原則上沒有跨年的可比性。部分傳媒亦喜歡以大學跨年排名的上落，而非大學評分的升跌，去推銷某政治議題。某些第三方人士，包括有名有姓的大學學者在內，無視大學排名跨年沒有可比性的事實，跟着政治議題的風向，隨便對大學的學術水平妄加判斷，實在令人扼腕。
大學排名也好、評分也好，就像近日多人談論的「影響因子」，用來參考就好，量化的「學術水平」，同時要配合質性的同儕評審。高教界競爭激烈，大學同工都拚命爭取學術成就，不進則退的道理大家都懂。根據大學排名去指控某大學學術水平倒退之際，又有誰關注香港高等教育經費和培訓研究人才的困難，怎樣才可令香港整體的學術水平進步？「外人看熱鬧，內人看門道」，或許因為將大學當成賽馬會比較刺激吧。
文__陳電鋸、傅景華（香港大學新聞及傳媒研究中心）
編輯/屈曉彤、林信君
留言
張貼留言