問(wèn)：我發(fā)現(xiàn)人大經(jīng)濟(jì)論壇越來(lái)越有意思了，如何關(guān)注？
答：請(qǐng)點(diǎn)擊上方的【人大經(jīng)濟(jì)論壇】即可。另，如果您覺(jué)得我們的話題有意思，歡迎轉(zhuǎn)載分享，并可以與我們互動(dòng)討論，謝謝！
【論壇君】 學(xué)術(shù)評(píng)價(jià)越來(lái)越依賴量化指標(biāo)，用量化指標(biāo)作為評(píng)價(jià)依據(jù)比同行評(píng)價(jià)似乎更客觀，但學(xué)術(shù)評(píng)價(jià)不存在絕對(duì)可靠的量化指標(biāo)，例如被引用次數(shù)評(píng)價(jià)學(xué)術(shù)論文只是代表研究熱度，絕對(duì)不等價(jià)于研究水平。也就是說(shuō)使用量化研究分析需要注意十大原則，比如定量評(píng)估服務(wù)于專家評(píng)估，不能取而代之。希望這篇文章讓每個(gè)研究者都在此獲益！
隨著科學(xué)研究規(guī)模的增加，學(xué)術(shù)評(píng)價(jià)這個(gè)難題越來(lái)越難，但又是一個(gè)必須進(jìn)行的工作，因?yàn)閆F、研究機(jī)構(gòu)、基金資助機(jī)構(gòu)和學(xué)者個(gè)人都對(duì)學(xué)術(shù)評(píng)價(jià)有需求。過(guò)去對(duì)學(xué)術(shù)評(píng)價(jià)幾乎全部依賴于同行，因?yàn)闆](méi)有其他值得依賴的指標(biāo)，但是現(xiàn)在情況發(fā)生了改變，學(xué)術(shù)評(píng)價(jià)越來(lái)越依賴量化指標(biāo)。
用量化指標(biāo)作為評(píng)價(jià)依據(jù)比同行評(píng)價(jià)似乎更客觀，但學(xué)術(shù)評(píng)價(jià)不存在絕對(duì)可靠的量化指標(biāo)，例如被引用次數(shù)評(píng)價(jià)學(xué)術(shù)論文只是代表研究熱度，絕對(duì)不等價(jià)于研究水平。臨床上對(duì)某病沒(méi)有特效藥的結(jié)果就是有許多藥可供選擇，學(xué)術(shù)評(píng)價(jià)的量化指標(biāo)越來(lái)越多，根本原因就是沒(méi)有一個(gè)能完全勝任。一味藥不行，只能采用復(fù)方和聯(lián)合用藥了。這些學(xué)術(shù)評(píng)價(jià)的量化指標(biāo)并不具有普遍適用性，雖然設(shè)置目的和出發(fā)點(diǎn)一般是健康和積極的，但往往被錯(cuò)誤或不當(dāng)使用。例如關(guān)于雜志影響因子，確實(shí)是判斷學(xué)術(shù)期刊水平的一個(gè)重要參考指標(biāo)，但許多學(xué)術(shù)機(jī)構(gòu)，尤其是中國(guó)的大部分學(xué)術(shù)機(jī)構(gòu)，將影響因子作為論文水平的標(biāo)準(zhǔn)，甚至是唯一標(biāo)準(zhǔn)。這顯然十分荒唐。一篇論文發(fā)表在哪個(gè)雜志上，有許多偶然因素，雜志的水平確實(shí)有高低，在粗線條上有可比性。一般來(lái)說(shuō)，高端雜志上發(fā)表論文數(shù)量是國(guó)際上認(rèn)可的學(xué)術(shù)水平重要參考標(biāo)準(zhǔn)，比如你能靠實(shí)力在CNS上發(fā)表10多篇某一領(lǐng)域的論著，你的學(xué)術(shù)水平可說(shuō)是不言而喻。但雜志的影響因子絕對(duì)不是學(xué)術(shù)水平的準(zhǔn)確代表值，論文發(fā)表雜志影響因子只能作為一個(gè)學(xué)術(shù)水平的重要參考，即使是相對(duì)準(zhǔn)確該文章被引用次數(shù)，仍然不能代表研究水平。
《自然》一篇文章最近再次討論了這個(gè)問(wèn)題，并將學(xué)術(shù)量化評(píng)價(jià)的大致歷史進(jìn)行了回顧。
2000年以前只有美國(guó)科學(xué)信息研究所提供的科學(xué)引文索引SCI光盤版被一些專業(yè)人員使用進(jìn)行文獻(xiàn)計(jì)量分析。2002年湯森路透公司啟用了SCI網(wǎng)絡(luò)版，使這種工具的使用更方便。其他一些公司也相繼建立了自己的類似學(xué)術(shù)評(píng)價(jià)平臺(tái)，例如愛(ài)思唯爾2004年開始用Scopus，谷歌學(xué)術(shù)β版2004年開始用。這些都是基于文獻(xiàn)引用作為基本指標(biāo)的評(píng)價(jià)工具，不同的是收錄的文獻(xiàn)范圍不同。SCI只分析被SCI收錄的文獻(xiàn)被其他SCI收錄文獻(xiàn)引用的情況，如果一篇文章被非SCI收錄的文獻(xiàn)引用，該系統(tǒng)就視而不見。Scopus的收錄范圍更大一些，但也是局限于其收錄范圍內(nèi)。谷歌學(xué)術(shù)β版就毫無(wú)限制，只要有引用，全部統(tǒng)計(jì)。從全面性上看，谷歌學(xué)術(shù)最好，SCI最差；從準(zhǔn)確度上看，谷歌學(xué)術(shù)最差，SCI最好；從時(shí)效性上看，谷歌學(xué)術(shù)最好，SCI最差。
也有利用網(wǎng)絡(luò)數(shù)據(jù)比較各個(gè)學(xué)術(shù)機(jī)構(gòu)的學(xué)術(shù)產(chǎn)出和影響力，例如基于SCI數(shù)據(jù)的InCites和基于Scopus的SciVal，也有利用谷歌數(shù)據(jù)的個(gè)人引用分析軟件如2007年發(fā)布的Publish or Perish。
2005年，加州大學(xué)圣地亞哥分校物理學(xué)家Jorge Hirsch提出h-index，又稱為h指數(shù)或h因子，是利用全部發(fā)表論文被引用的排序計(jì)算出的個(gè)人學(xué)術(shù)影響力指標(biāo)。h代表“高引用次數(shù)”（high citations），一名科研人員的h指數(shù)是指他至多有h篇論文分別被引用了至少h次。h指數(shù)能夠比較準(zhǔn)確地反映一個(gè)人的學(xué)術(shù)成就。一個(gè)人的h指數(shù)越高，則表明他的論文影響力越大。例如，某人的h指數(shù)是20，這表示他已發(fā)表的論文中，每篇被引用了至少20次的論文總共有20篇。要確定一個(gè)人的h指數(shù)非常容易，到SCI網(wǎng)站（其他數(shù)據(jù)庫(kù)也可以，會(huì)得出不同的數(shù)值），先查出某個(gè)人發(fā)表的所有SCI論文，按被引次數(shù)排序，往下核對(duì)，直到某篇論文的序號(hào)大于該論文被引次數(shù)，那個(gè)序號(hào)減去1就是h指數(shù)。而期刊影響因子引起關(guān)注的時(shí)間是起自1995年?？梢赃@么說(shuō)，h指數(shù)是個(gè)人學(xué)術(shù)影響力的判斷指標(biāo)，影響因子是期刊的影響力指標(biāo)。
后來(lái)，隨著社交網(wǎng)絡(luò)評(píng)價(jià)的出現(xiàn)，2002年的F1000Prime，2008年的Mendeley，2011年的Altmetric.com（Altmetric是自然集團(tuán)母公司Macmillan Science andEducation資助的）。
文獻(xiàn)計(jì)量學(xué)家、社會(huì)科學(xué)家和學(xué)術(shù)管理機(jī)構(gòu)，已經(jīng)注意到現(xiàn)在對(duì)學(xué)術(shù)評(píng)價(jià)量化指標(biāo)被濫用的情況。例如，一些大學(xué)排行榜如上海大學(xué)排行榜的和泰晤士報(bào)大學(xué)排行榜，甚至這些所謂排行榜采用一些不準(zhǔn)確的數(shù)據(jù)和濫用指標(biāo)。
一些招聘人員要求申請(qǐng)者提供h-index，許多大學(xué)對(duì)招聘崗位對(duì)受聘人員的h-index分值和高影響雜志論文數(shù)量都設(shè)定了標(biāo)準(zhǔn)。許多科學(xué)家也在自己的簡(jiǎn)歷中以顯著位置顯示自己的h-index分值和高影響雜志論文數(shù)量，在生物醫(yī)學(xué)領(lǐng)域這種情況最流行。導(dǎo)師讓博士生去發(fā)表高影響期刊，因?yàn)檫@是他們將來(lái)混學(xué)術(shù)江湖的最好說(shuō)明書。
斯堪的那維亞和中國(guó)的一些大學(xué)分配研究經(jīng)費(fèi)或獎(jiǎng)金只根據(jù)一個(gè)數(shù)字，就是發(fā)表學(xué)術(shù)期刊的影響因子。
許多情況下，同行評(píng)議仍然發(fā)揮重要作用，但是濫用量化指標(biāo)的現(xiàn)象已經(jīng)變的非常普遍祖哲和惡劣。
文章后面提供了2014年在萊頓科學(xué)和技術(shù)指標(biāo)會(huì)議上提出的萊頓宣言中的科學(xué)計(jì)量10條原則。
http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
Ten principles( 參考劉立老師的博文)
原則1：定量評(píng)估服務(wù)于專家評(píng)估，不能取而代之。
原則2：對(duì)科研機(jī)構(gòu)、科研團(tuán)隊(duì)和科研工作者的評(píng)估，應(yīng)參照當(dāng)初定的愿景和目標(biāo)。
原則3：重視本國(guó)語(yǔ)言發(fā)表的論文。
原則4：評(píng)估中使用的數(shù)據(jù)采集、分析過(guò)程，必須開放、透明和簡(jiǎn)便易行，不能搞黑箱操作，語(yǔ)言應(yīng)簡(jiǎn)單易懂。
原則5：允許被評(píng)估者復(fù)查評(píng)估數(shù)據(jù)和過(guò)程。
原則6：充分考慮不同領(lǐng)域、不同學(xué)科在發(fā)表和引用等方面的巨大差異。
比如，生命科學(xué)領(lǐng)域的期刊和論文的引用量和影響因子比數(shù)學(xué)領(lǐng)域高出很多倍。又，某些領(lǐng)域如歷史學(xué)，傳統(tǒng)上看重出版專著，而不是發(fā)表論文。但某歐洲大學(xué)采用SSCI論文進(jìn)行歷史系進(jìn)行評(píng)估，結(jié)果他們杯摧了，被關(guān)停并轉(zhuǎn)，并入了心理學(xué)系。
原則7：對(duì)科研工作者評(píng)估，以定性評(píng)估為基礎(chǔ)；對(duì)不同科研生涯階段的科研工作者要區(qū)別對(duì)待，不能一刀切。
原則8：要避免濫用評(píng)估指標(biāo)的可操作性具體性（如引用數(shù)）和虛假的精確性（如影響因子）。
原則9：要認(rèn)識(shí)到評(píng)估指標(biāo)和評(píng)估體系可能對(duì)大學(xué)和科研機(jī)構(gòu)帶來(lái)的系統(tǒng)效應(yīng)，即上有政策下有對(duì)策現(xiàn)象。
比如，澳大利亞1990年代，主要依據(jù)大學(xué)發(fā)表的論文數(shù)量給予資助，2000年，相當(dāng)于每篇論文給480美元資助；結(jié)果，后來(lái)澳大利亞大學(xué)的論文數(shù)量急劇上升，但其中很多論文都是發(fā)表在引用率很低的期刊上。這意味著在該評(píng)估體系下澳大利亞大學(xué)的論文質(zhì)量下降了。
原則10：要時(shí)常檢視評(píng)估指標(biāo)體系存在的問(wèn)題，并加以改進(jìn)。
比如澳大利亞，2010年發(fā)現(xiàn)原來(lái)評(píng)估體系的問(wèn)題，引入了重論文質(zhì)量而輕數(shù)量的卓越科研評(píng)價(jià)體系。
本文來(lái)源：科學(xué)網(wǎng)孫學(xué)軍老師的教研博客
【結(jié)束語(yǔ)】感謝作者，感謝您的閱讀。人大經(jīng)濟(jì)論壇目前已成為國(guó)內(nèi)最大的經(jīng)管人互動(dòng)社區(qū)，這里有近600萬(wàn)用戶和數(shù)千萬(wàn)好貼，以及海量的各種資源與大家共享。真誠(chéng)邀請(qǐng)你到論壇上來(lái)與我們互動(dòng)，等你哦，趕緊戳這里：http://bbs.pinggu.org/，你會(huì)發(fā)現(xiàn)更多精彩。
聯(lián)系客服
