20140918-姚崢嶸--What we are reading：呃like科學研究
What we are reading：呃like科學研究
10:50 28/9/2014
■《How Not to be Wrong》
「研究發現：桌子亂糟糟的人創造力更強！」、「女性名字的颱風，破壞力較男人名的大！」、「飲牛奶致癌！」
出人意表的研究，是社交媒體上最廣被「喜愛」和「分享」內容之一。研究皆建基統計，但英諺有云，統計乃世上三大謊話之一，照單全收前，宜停一停，睇一睇。
（1）一人樣本
「牛奶是給牛飲的，不是人飲的——癌症康復科學家勸人戒奶。」這是英國某報標題。細讀內文，這科學家的本行是地質學，以自身戒奶抗癌經驗著書。文章似是鱔稿，但只看標題的讀者，已急不及待share了。
（2）效果的強弱
很多「保健食品」聲稱「可以提高新陳代謝，燒脂減肥」，對好食懶飛人士無疑是神蹟。問題在廣告「留白」部份——提高多少？燒幾多脂？學術研究必須清楚列出關鍵數字，但傳媒為呃like、商人為賺錢，往往選擇性披露。
可惜，世上沒有不勞而減的肥：平常人靜止狀態時每分鐘耗1卡路里，藥物只會在一段時間內提高至1.05，即使吃一萬年也不能減磅；相比之下，慢步每分鐘耗3卡路里。換言之，吃藥不燒脂，倒會燒錢。不過，廣告商沒騙你，可以就是「可以」嘛！我的獨門減肥秘方是吃冰，因為水沒有熱量，而身體融冰及把水暖到體溫都耗熱，可以減肥！
（3）統計顯著性（Statistical Significance）
學過統計的朋友都知道，一般研究的置信水平（confidence interval）定在95%。這看似是很高要求，但亦表示每20個研究，就會有1個（5%）結論錯誤地被接納。理論上，以下情況有可能出現：有人嘗試證明吃M&M朱古力豆可治療癌症失敗，但分開試驗二十種不同顏色的M&M後，發現「紅色M&M可治癌」！
（4）無中生有的因果關係（False Causality）
曾有研究「證明」癌症病人較喜歡吸煙，後來當然徹底被推翻，但起碼兩者有關連，只是因果掉轉。在大數據年代，不論有無理論根據，隨時都可做大堆統計分析，難保不會在漁翁撒網下，撈到無厘頭結論，例如有學者發表一個戲謔研究，以數據「證明」一條死三文魚的磁振造影，可以推斷人的情緒狀態。
（5）按摩或折磨數據
研究者也是人，若果辛辛苦苦做了大輪工夫，結論卻僅僅跌在可接受置信水平之外，難道讓心血付諸東流？不如想辦法搞搞那些數據。這做法也有「學名」，稱為「massage」或「torture」data，就是造數，例如把邊緣數據打成「異端」（outlier），剔除在外，直至達到置信水平。
這絕非危言聳聽。有人統計過，學術研究衡量結論是否達到置信水平的「p-值」（p-value），並非隨機分佈，大部份剛好在達標邊緣！你認為代表甚麼？
呃like問題都是利用人的兩大弱點：懶於求真及偏聽。讀者能夠在看清楚前不亂share，已算造福人群。
參考書目：《How Not to be Wrong》；《The Signal and the Noise》
姚崢嶸
10:50 28/9/2014
■《How Not to be Wrong》
「研究發現：桌子亂糟糟的人創造力更強！」、「女性名字的颱風，破壞力較男人名的大！」、「飲牛奶致癌！」
出人意表的研究，是社交媒體上最廣被「喜愛」和「分享」內容之一。研究皆建基統計，但英諺有云，統計乃世上三大謊話之一，照單全收前，宜停一停，睇一睇。
（1）一人樣本
「牛奶是給牛飲的，不是人飲的——癌症康復科學家勸人戒奶。」這是英國某報標題。細讀內文，這科學家的本行是地質學，以自身戒奶抗癌經驗著書。文章似是鱔稿，但只看標題的讀者，已急不及待share了。
（2）效果的強弱
很多「保健食品」聲稱「可以提高新陳代謝，燒脂減肥」，對好食懶飛人士無疑是神蹟。問題在廣告「留白」部份——提高多少？燒幾多脂？學術研究必須清楚列出關鍵數字，但傳媒為呃like、商人為賺錢，往往選擇性披露。
可惜，世上沒有不勞而減的肥：平常人靜止狀態時每分鐘耗1卡路里，藥物只會在一段時間內提高至1.05，即使吃一萬年也不能減磅；相比之下，慢步每分鐘耗3卡路里。換言之，吃藥不燒脂，倒會燒錢。不過，廣告商沒騙你，可以就是「可以」嘛！我的獨門減肥秘方是吃冰，因為水沒有熱量，而身體融冰及把水暖到體溫都耗熱，可以減肥！
（3）統計顯著性（Statistical Significance）
學過統計的朋友都知道，一般研究的置信水平（confidence interval）定在95%。這看似是很高要求，但亦表示每20個研究，就會有1個（5%）結論錯誤地被接納。理論上，以下情況有可能出現：有人嘗試證明吃M&M朱古力豆可治療癌症失敗，但分開試驗二十種不同顏色的M&M後，發現「紅色M&M可治癌」！
（4）無中生有的因果關係（False Causality）
曾有研究「證明」癌症病人較喜歡吸煙，後來當然徹底被推翻，但起碼兩者有關連，只是因果掉轉。在大數據年代，不論有無理論根據，隨時都可做大堆統計分析，難保不會在漁翁撒網下，撈到無厘頭結論，例如有學者發表一個戲謔研究，以數據「證明」一條死三文魚的磁振造影，可以推斷人的情緒狀態。
（5）按摩或折磨數據
研究者也是人，若果辛辛苦苦做了大輪工夫，結論卻僅僅跌在可接受置信水平之外，難道讓心血付諸東流？不如想辦法搞搞那些數據。這做法也有「學名」，稱為「massage」或「torture」data，就是造數，例如把邊緣數據打成「異端」（outlier），剔除在外，直至達到置信水平。
這絕非危言聳聽。有人統計過，學術研究衡量結論是否達到置信水平的「p-值」（p-value），並非隨機分佈，大部份剛好在達標邊緣！你認為代表甚麼？
呃like問題都是利用人的兩大弱點：懶於求真及偏聽。讀者能夠在看清楚前不亂share，已算造福人群。
參考書目：《How Not to be Wrong》；《The Signal and the Noise》
姚崢嶸
留言
張貼留言