3．2．2可靠性( rel i abi l iy) 、重復(fù)性( r epeat abi li t y)或 精密度( pr eci si on)
可靠性是指一項(xiàng)診斷試驗(yàn)在完全相同的條件下． 重復(fù)時(shí)獲得相同結(jié)果的穩(wěn)定程度。也即用同一種診斷 方法在同樣條件下．對(duì)相同的人群進(jìn)行一次以上的檢 查．結(jié)果愈恒定(試驗(yàn)結(jié)果穩(wěn)定性高)。此診斷方法的 可靠性愈高。對(duì)診斷方法的可靠性．可以用變異系數(shù) ( c oef fi c i ent of v撕anc e) 來(lái)表示。另外，還可以用不同 觀察者的符合率來(lái)判斷其可靠性。也可用Kappa一致 性檢驗(yàn)來(lái)體現(xiàn)。
Kappa一致性檢驗(yàn)：這是核對(duì)資料可靠性的一種 方法。即先后測(cè)試同一批對(duì)象。所得結(jié)果相符的程度。 資料整理見表2。
分析指標(biāo)如下：
( 1)觀察一致性( obsenr ed agreement ，Po)
( 2) 機(jī)遇一致性( a鏟eeme nt of chance，Pc)
( 3) 非機(jī)遇一致性00t ent i al agr ee ment beyond chanc曲=l —Pc
( 4) 實(shí)際一致性( act ual agr eement beyond chance) = Po—Pc
( 5)Ka ppa值=實(shí)際一致性／非機(jī)遇一致性
=( Po—Pc)／(1一Pc)
K印pa值也可由表2各數(shù)字直接求得，公式為：
Kappa值可在+l一1之間波動(dòng)，在實(shí)際應(yīng)用中， Kappa值只在O．+l 間判斷一致性才有意義。Kappa值 越大，表示一致性越好。一般認(rèn)為Ka ppa值≥O．75，說(shuō) 明已經(jīng)取得相當(dāng)滿意的一致程度。若Kappa值<0．4， 則說(shuō)明一致程度不夠理想。K印pa值可由統(tǒng)計(jì)軟件直 接獲得。Kappa值也可用于兩種方法測(cè)定一致性的評(píng) 價(jià)。又稱吻合度系數(shù)。
我們目前常用質(zhì)控品來(lái)進(jìn)行質(zhì)量控制．以體現(xiàn)檢 測(cè)的可靠性。主要通過質(zhì)控品的復(fù)孔設(shè)計(jì)．計(jì)算其均 值及變異系數(shù)，進(jìn)行評(píng)價(jià)。
影響試驗(yàn)可靠性的因素有：
( 1) 方法的差異：如試劑的穩(wěn)定性及被測(cè)物質(zhì)數(shù) 值的波動(dòng)( 如被測(cè)物的晝夜差異) ；試驗(yàn)方法可受試劑 質(zhì)量、配制方法、溫濕度等因素影響：儀器也可受外環(huán) 境因素(如溫度、濕度、安靜、振動(dòng)等)的影響，使測(cè)量 值發(fā)生誤差。所以，在進(jìn)行診斷時(shí)必須對(duì)儀器、藥品、 條件等有嚴(yán)格的規(guī)定。
( 2) 測(cè)量變異：這與試驗(yàn)操作者的技術(shù)和責(zé)任心 有關(guān)．因?yàn)槿魏螠y(cè)量都可出現(xiàn)不同程度的測(cè)量變異。 若操作者能遵循操作規(guī)程．操作細(xì)心則可減少這種變 異。若操作者可在某種程度上自行判斷測(cè)量結(jié)果．則 這種變異可以很大甚至難以控制。如用幾種方法( 即 在不同的檢驗(yàn)室．由不同的操作人員中使用不同的儀 器)進(jìn)行測(cè)量．測(cè)量數(shù)值的系統(tǒng)誤差將是難以避免的。 測(cè)量變異尚包括觀察者間誤差(i nt e卜obs en，e r er ror ) 和觀察者自身誤差(i nt r a—obsenr er en．or ) 。
( 3) 生物學(xué)變異：不同季節(jié)和一日內(nèi)的不同時(shí)間 個(gè)體內(nèi)部的生物學(xué)狀態(tài)不斷地發(fā)生變化．也就是產(chǎn)生 變異。這樣，在某個(gè)時(shí)點(diǎn)獲得的某生物學(xué)現(xiàn)象的測(cè)量 值只能是該時(shí)期內(nèi)多次測(cè)量所獲得數(shù)值的一個(gè)樣本． 并不能代表各次測(cè)量的真實(shí)數(shù)值。臨床上各項(xiàng)檢驗(yàn)工 作多是在某一時(shí)點(diǎn)進(jìn)行的．并將各種檢驗(yàn)結(jié)果用于指 導(dǎo)臨床實(shí)踐．所以臨床醫(yī)師應(yīng)對(duì)個(gè)體的生物學(xué)變異給 予足夠的重視。
因此我們?cè)诳己藭r(shí)要強(qiáng)調(diào)同步試驗(yàn)原則來(lái)減少 差異。
預(yù)測(cè)值( pr edi ct i ve val ue)又稱預(yù)告值、診斷價(jià)值， 是評(píng)價(jià)試劑效益的指標(biāo)。一個(gè)診斷方法有其一定的特 異度、靈敏度．但是當(dāng)應(yīng)用它篩檢或診斷患病率不同 的人群時(shí)，陽(yáng)性( 或陰性)結(jié)果所表示的意義卻不同。 在得到一個(gè)陽(yáng)性(或陰性) 結(jié)果時(shí)．如何判斷其診斷價(jià) 值。這時(shí)就需要參考該被檢查者是處于高患病率人群 還是低患病率人群。當(dāng)患病率很低時(shí)。即使一個(gè)特異 度很高的試驗(yàn)也會(huì)檢出相當(dāng)多的假陽(yáng)性．比如用 EUSA 法檢測(cè)AI DS病的HI V抗體．就會(huì)出現(xiàn)許多 假陽(yáng)性．而必須再用第二次的EUSA或蛋白印跡法(west embl ot ) 或其他方法確診。
一個(gè)試驗(yàn)的陽(yáng)性預(yù)測(cè)值說(shuō)明被試人如為陽(yáng)性時(shí) 他有該病的陽(yáng)性率有多大：陰性預(yù)測(cè)值說(shuō)明被認(rèn)為陰 性時(shí)他沒有該病的可能性有多大。
預(yù)測(cè)值受靈敏度、特異度和患病率三者的影響。 在不同患病率的人群中．陽(yáng)性結(jié)果的預(yù)測(cè)值不同。知 道一個(gè)試驗(yàn)方法的靈敏度、特異度。被測(cè)人群某病的 患病率，即可計(jì)算出當(dāng)試驗(yàn)結(jié)果為陽(yáng)性(或陰性)時(shí)， 該人患病的概率。在患病率不變的情況下。預(yù)測(cè)值隨 靈敏度和特異度的變動(dòng)而變動(dòng)，隨著靈敏度升高、特 異度降低。陰性預(yù)測(cè)值升高，陽(yáng)性預(yù)測(cè)值降低：當(dāng)靈敏 度、特異度不變時(shí)，隨著患病率的升高。陽(yáng)性預(yù)測(cè)值升 高，陰性預(yù)測(cè)值降低。
3．2．4 ROC曲線
盡管前面所列的Youden指數(shù)、陽(yáng)f陰) 性似然 比、陽(yáng)( 陰) 性預(yù)測(cè)值等指標(biāo)綜合利用了真陽(yáng)性率 ( TPR) 與假陽(yáng)性率(FPR) 的信息，但這些指標(biāo)都與 診斷界點(diǎn)( 或閾值) 的選取有關(guān)。例如，同一項(xiàng)檢測(cè) 方法．采用不同的診斷界點(diǎn)就有不同的TPR與FPR。 為了更全面地評(píng)價(jià)檢測(cè)方法的診斷價(jià)值．必須考慮 各種可能的診斷界點(diǎn)。
接收者工作特征(r e cei ver oper at i ng char a ct e ris t i c ) 或相對(duì)工作特征( r el at i ve opemt i ng char act er ist i c)曲線 簡(jiǎn)稱ROC曲線fROC cun，e1。ROC分析于二十世紀(jì)五 十年代起源于統(tǒng)計(jì)決策理論．后來(lái)應(yīng)用于雷達(dá)信號(hào)接 收能力的評(píng)價(jià)：自從八十年代起．該方法廣泛應(yīng)用于 醫(yī)學(xué)診斷試驗(yàn)性能的評(píng)價(jià)。通過改變?cè)\斷界點(diǎn)．獲得 多對(duì)11PR與FPR值．以FPR為橫坐標(biāo)，r I’PR為縱坐標(biāo)，繪制ROC曲線，計(jì)算與比較ROC曲線下面積，以 另外，成本效益分析( cas e be ne fi t al l alysi s，CBA)也是 此反映診斷試驗(yàn)的診斷價(jià)值。
以假陽(yáng)性率FPR『即( 1一特異度) 1為橫軸．真陽(yáng)性率 3．3差異樣本的分析 TPRf即靈敏度) 為縱軸，橫軸與縱軸長(zhǎng)度相等。形成正 對(duì)于檢測(cè)不一致的標(biāo)本，應(yīng)進(jìn)行進(jìn)一步的分析確 方形．在圖中將ROC曲線工作點(diǎn)標(biāo)出。用直線連接各 認(rèn)(金標(biāo)準(zhǔn)確認(rèn)，第三方考核等)。若無(wú)同類試劑，可采 相鄰兩點(diǎn)構(gòu)建未光滑的ROC曲線。ROC曲線一定通 用相關(guān)試劑進(jìn)行平行檢測(cè)，對(duì)檢測(cè)結(jié)果不符的樣品可 過( 0，O)和( 1，1)兩點(diǎn)，這兩點(diǎn)分別對(duì)應(yīng)于靈敏度為0而 以通過病例追蹤進(jìn)行核對(duì)。 特異度為l ，和靈敏度為l 而特異度為O。理論上，當(dāng) d結(jié){置 診斷試驗(yàn)完全無(wú)價(jià)值時(shí)．有TPR=FPR．是一條從原點(diǎn) 到右上角的對(duì)角線，這條線稱為機(jī)會(huì)線f chanc e l i ne) ； 在實(shí)施一個(gè)臨床考核時(shí)，原則上要按照國(guó)家的相 ROC曲線一般位于機(jī)會(huì)線的上方．離機(jī)會(huì)線越遠(yuǎn)．說(shuō) 關(guān)政策要求進(jìn)行，考評(píng)指標(biāo)可酌情選擇，一般不會(huì)全 明診斷準(zhǔn)確度越高：最好的診斷試驗(yàn)在圖中表現(xiàn)為 選，但應(yīng)包括準(zhǔn)確性、可靠性及效益指標(biāo)，尤其是準(zhǔn)確 ROC曲線從原點(diǎn)垂直上升至左上角．然后水平到達(dá)右 性和可靠性指標(biāo)是不能缺少的。而且希望大家在實(shí)施 卜角。
ROC曲線下面積( 記為1可反映診斷試驗(yàn)的準(zhǔn)確性 大小。這一指標(biāo)取值范圍在0．5。l 之間，完全無(wú)價(jià)值 參考資料 的診斷為O．5，完全理想的診斷為1。一般認(rèn)為為0．5。 【l 】《體外診斷試劑注冊(cè)管理辦法( 試行) 》，國(guó)食藥監(jiān)械[2007] 0．7時(shí)。表示診斷準(zhǔn)確性較低；為O．7。O．9時(shí)．表示診斷 229號(hào)· 準(zhǔn)確性為中等：為0．9以上時(shí)表示診斷準(zhǔn)確性較高。
是否能實(shí)現(xiàn)早期診斷、是否對(duì)分型分期有用也可作為評(píng)價(jià)該診斷試驗(yàn)是否有創(chuàng)新或優(yōu)勢(shì)的一項(xiàng)依據(jù)。另外，成本效益分析( cas e be ne fi t al l alysi s，CBA)也是一項(xiàng)評(píng)價(jià)指標(biāo)。
對(duì)于檢測(cè)不一致的標(biāo)本，應(yīng)進(jìn)行進(jìn)一步的分析確對(duì)于檢測(cè)不一致的標(biāo)本，應(yīng)進(jìn)行進(jìn)一步的分析確認(rèn)(金標(biāo)準(zhǔn)確認(rèn)，第三方考核等)。若無(wú)同類試劑，可采用相關(guān)試劑進(jìn)行平行檢測(cè)，對(duì)檢測(cè)結(jié)果不符的樣品可以通過病例追蹤進(jìn)行核對(duì)。
在實(shí)施一個(gè)臨床考核時(shí)，原則上要按照國(guó)家的相關(guān)政策要求進(jìn)行，考評(píng)指標(biāo)可酌情選擇，一般不會(huì)全選，但應(yīng)包括準(zhǔn)確性、可靠性及效益指標(biāo)，尤其是準(zhǔn)確性和可靠性指標(biāo)是不能缺少的。而且希望大家在實(shí)施過程中能注意改進(jìn)和完善。
聯(lián)系客服
