讓數(shù)據(jù)和證據(jù)作為決策的依據(jù)，是科學(xué)家的一貫習(xí)慣和最愛，因為科學(xué)研究的工作方法就是這樣，只相信數(shù)據(jù)和證據(jù)。但數(shù)據(jù)和證據(jù)真的能代表一切嗎？
如果科學(xué)家都不能充分利用大數(shù)據(jù)，那么指望誰能利用？只需要考察一下使用量化指標(biāo)的典型代表，如期刊影響因子、H指數(shù)和grant-incometargets，就明白這種量化指標(biāo)的局限性。
學(xué)術(shù)傳統(tǒng)中最珍貴的元素是多元化或個性化，但是個人量化指標(biāo)不可能在保證公平的基礎(chǔ)上體現(xiàn)多元化。
設(shè)計不良的評估標(biāo)準(zhǔn)常對科學(xué)家職業(yè)產(chǎn)生干擾。第104任坎特伯雷大主教劍橋大學(xué)莫德林學(xué)院院長Rowan Williams曾經(jīng)把這種現(xiàn)象比喻為，當(dāng)前大學(xué)中的“新野蠻”。一起都向量化指標(biāo)看齊，指標(biāo)已經(jīng)變成權(quán)利，決定了科學(xué)家的價值、身份和生存。
2014年4月英國著名科學(xué)計量學(xué)家James Wilsdon.是英國政府獨立學(xué)術(shù)計量審查的委員會的主席，最近該委員會發(fā)表了審查結(jié)果(go.nature.com/smbaix) 。這一審查結(jié)果將成為英國政府基金進(jìn)行下一輪資助的重要依據(jù)，涉及年度經(jīng)費規(guī)模達(dá)到16億英鎊。最讓人擔(dān)心的是，這一量化指標(biāo)趨勢可能會籠罩整個高等教育和學(xué)術(shù)研究。
可以肯定是，熱衷量化指標(biāo)和對量化指標(biāo)的恐懼將會繼續(xù)下去。因為量化評價不僅是政策制定者的重要參考，也是研究機(jī)構(gòu)制定競爭資源策略的需要。
一方面，對高等教育公共支出和研究評估越來越困難，另一方面，政策制定者也越來越依賴研究質(zhì)量和影響力的量化分析。研究機(jī)構(gòu)為了發(fā)展戰(zhàn)略也需要對科研進(jìn)行有效管理，也需要搶奪聲望、學(xué)生、員工和資源。這也造成對實時大數(shù)據(jù)分析、研究工具和能力的客觀需求。
廣泛使用量化指標(biāo)和社會影響指標(biāo)有其積極意義，能讓社會變的更加開放，促使學(xué)術(shù)研究體系更開放更負(fù)責(zé)。不過，調(diào)查發(fā)現(xiàn)只有少數(shù)科學(xué)家支持使用量化指標(biāo)，這說明整個科研領(lǐng)域?qū)α炕u價存有爭議和誤解。
James Wilsdon的觀點是，支持使用量化指標(biāo)，但不能取代同行評議。同行評議并不完美，但是目前最好的學(xué)術(shù)評價形式，應(yīng)成為評價學(xué)術(shù)論文、研究方案和個人的基礎(chǔ)方法。
量化指標(biāo)只能局限于開放的能相互操作的系統(tǒng)內(nèi)使用，基礎(chǔ)數(shù)據(jù)是收集和處理方法的開放程度，是量化指標(biāo)可靠性的重要基礎(chǔ)。沒有正確的標(biāo)識、標(biāo)準(zhǔn)和語義，任何指標(biāo)都會失去價值。
大學(xué)、基金資助機(jī)構(gòu)和出版商需要協(xié)調(diào)共享其數(shù)據(jù)，讓研究人員和數(shù)據(jù)系統(tǒng)更容易獲得相關(guān)數(shù)據(jù)，尤其是基金項目。如果指標(biāo)可靠,而不增加管理負(fù)擔(dān)，科學(xué)家團(tuán)體應(yīng)該廣泛采納，如ORCID標(biāo)示將給個人和研究工作帶來很多方便。
將復(fù)雜的問題變成簡單分?jǐn)?shù)有誘惑力，但令人擔(dān)心的是將量化指標(biāo)作為游戲規(guī)則的指揮棒，導(dǎo)致意想不到的后果。人員管理和招聘委員會必須避免將量化指標(biāo)作為任命和晉升決策的依據(jù)。在評價學(xué)術(shù)質(zhì)量和產(chǎn)出對政策、產(chǎn)業(yè)和社會的效益方面必須包括專家的判斷。
有時候，只要負(fù)責(zé)地使用符合標(biāo)準(zhǔn)指標(biāo)，用量化指標(biāo)作為決策依據(jù)是有用的。例如，文章引證指標(biāo)評價學(xué)術(shù)影響力非常有用，但也要充分考慮到其局限性。期刊影響因子作為判斷期刊水平是有價值的，但是不能作為論文和作者水平影響力的依據(jù)。為了減少濫用的可能性，出版商應(yīng)該停止他們對期刊影響因子的不健康宣傳。
從學(xué)術(shù)研究角度，科學(xué)家應(yīng)該開發(fā)更全面更準(zhǔn)確的度量方法或評價指標(biāo)。分析問題，討論都十分關(guān)鍵，James Wilsdon的博客上專門對評價指標(biāo)進(jìn)行討論。參考英國文學(xué)評論每年都有“最爛性愛劇情獎”，該網(wǎng)站每年評選出“最爛學(xué)術(shù)評價指標(biāo)”獎。不過可能會有許多候選者。https://responsiblemetrics.org/
http://www.nature.com/news/we-need-a-measured-approach-to-metrics-1.17928
聯(lián)系客服
