去年5月，在2017年度GPU技術(shù)大會（GTC）上，英偉達發(fā)布了超級計算機NVIDIA DGX Station。作為針對人工智能開發(fā)的GPU工作站，NVIDIA DGX Station的計算能力相當于400顆CPU，而所需功耗不足其1/20，而計算機的尺寸恰好能夠整齊地擺放在桌側(cè)。數(shù)據(jù)科學家可以用它來進行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練、推理與高級分析等計算密集型人工智能探索。
作為致力于將深度學習人工智能技術(shù)引入到智能醫(yī)學診斷的系統(tǒng)開發(fā)商，圖瑪深維采用了DGX Station以及CUDA并行加速來進行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，并在此基礎(chǔ)上開發(fā)出了σ-Discover Lung智能肺結(jié)節(jié)分析系統(tǒng)。σ-Discover Lung系統(tǒng)能夠幫助醫(yī)生自動檢測出肺結(jié)節(jié)、自動分割病灶、自動測量參數(shù)，自動分析結(jié)節(jié)良惡性、提取影像組學信息、并對肺結(jié)節(jié)做出隨訪，大幅度減少結(jié)節(jié)篩查時間，減少讀片工作量，提高結(jié)節(jié)的檢出率，并且提供結(jié)節(jié)的良惡性定量分析，提高篩查的效果。σ-Discover Lung系統(tǒng)于去年8月發(fā)布。去年12月，圖瑪深維完成軟銀中國領(lǐng)投的2億人民幣B輪融資。
3月23日起，智東西聯(lián)合NVIDIA推出「NVIDIA實戰(zhàn)營」，共計四期。第一期由圖瑪深維首席科學家陳韻強和NVIDIA高級系統(tǒng)架構(gòu)師付慶平作為主講講師，分別就《深度學習如何改變醫(yī)療影像分析》、《DGX超算平臺-驅(qū)動人工智能革命》兩個主題在智東西旗下「智能醫(yī)療」社群進行了系統(tǒng)講解。目前，「NVIDIA實戰(zhàn)營」第二期已經(jīng)結(jié)束。而第三期將于4月13日20點開講，主題為《智能監(jiān)控場景下的大規(guī)模并行化視頻分析方法》，由西安交通大學人工智能和機器人研究所博士陶小語、NVIDIA高級系統(tǒng)架構(gòu)師易成共同在「智能安防」社群主講。
本文為陳韻強博士的主講實錄，正文共計4472字，預(yù)計7分鐘讀完。在瀏覽主講正文之前，可以思考以下五個問題：
-低劑量胸部掃描是否能識別結(jié)節(jié)的良惡性？
-傳統(tǒng)CAD技術(shù)為何不如深度學習？
-深度學習在醫(yī)學影像分析有哪些應(yīng)用場景？
-基于多任務(wù)的深層神經(jīng)網(wǎng)絡(luò)模型如何搭建智能肺結(jié)節(jié)分析系統(tǒng)？
-深度學習給醫(yī)療哪些領(lǐng)域會帶來變革？
陳韻強：大家好！很高興有機會和英偉達的專家一起和大家交流深度學習在智能醫(yī)療影像分析方面的應(yīng)用。先簡單介紹下圖瑪深維醫(yī)療科技有限公司（以下簡稱圖瑪深維）以及公司在智能醫(yī)療領(lǐng)域的產(chǎn)品路線。圖瑪深維成立于2015年，一直致力于利用深度學習技術(shù)來提高智能醫(yī)療水平，輔助醫(yī)生采用更加精確、有效的手段來診斷疾病和確定治療方案，從而更好地為患者服務(wù)。公司發(fā)展到今天，已經(jīng)有一百多名全職雇員，八位醫(yī)學顧問，公司總部設(shè)在北京，并且已經(jīng)在蘇州、上海以及美國圣地亞哥建立了分部。
在去年的GTC大會北京站上，圖瑪深維獲得“2017中國人工智能初創(chuàng)公司挑戰(zhàn)賽”冠軍并獲得了價值百萬的超級計算機DGX-1大獎。這張照片就是我們在這次挑戰(zhàn)賽冠軍的獎品——最新的DGX工作站。我們已經(jīng)將其應(yīng)用到研發(fā)工作中，并且給工作效率帶來了非常大的提升。后面我也會做一些關(guān)于DGX工作站效率的詳細比較，大家可以看一下。
圖瑪深維目前主要專注于醫(yī)學影像分析?，F(xiàn)代醫(yī)學影像取得重大進步的一個原因，其實就是基于不同成像設(shè)備的巨大發(fā)展，比如CT斷層成像、核磁共振掃描、三維超聲等，都可以在沒有創(chuàng)傷或微創(chuàng)的情況下，觀察人體內(nèi)部的細微組織結(jié)構(gòu)，在疾病的早期檢測、找到疾病的病因以及病灶位置方面帶來了極大的增強，從而可以讓醫(yī)生盡早確定治療方案。另外，在人體的不同部位，不同疾病的表現(xiàn)方式也都不太一樣，檢測方法也不一樣，因此圖瑪深維的產(chǎn)品針對不同的成像儀器，涵蓋了人體的多個部位，來對一些高發(fā)以及高危的疾病進行智能輔助診斷。現(xiàn)在我們著重的是比較高危害的疾病，包括各種惡性的癌癥、心血管常見疾病以及腦血管疾病等。
下面我主要以我們公司的肺癌產(chǎn)品為例，來介紹一下公司在智能醫(yī)療領(lǐng)域的貢獻、智能醫(yī)療的重要性和它需要實現(xiàn)的任務(wù)及范疇?？梢钥吹?，現(xiàn)在世界衛(wèi)生組織預(yù)測21世紀人類第一殺手，就是一些常見的惡性癌癥。全球每年大概有700萬人死于癌癥，而在中國，惡性腫瘤發(fā)病率也非常高，每年發(fā)病率平均在160萬左右，死亡數(shù)量也相當高，達到130萬，惡性腫瘤在所有的死亡病例里面占了1/5左右，是現(xiàn)代危害非常嚴重的一種疾病。而肺癌更是惡性腫瘤里面發(fā)病率最高的惡性腫瘤之一，其五年生存率僅僅為15%左右。
從上圖我們可以看到肺癌在男性發(fā)病率里面是最高的，女性群體中乳腺癌是最高的，而其次就是肺癌。因此肺癌在整個惡性腫瘤中是最嚴重的一種，但是實際上我們也不應(yīng)該談癌變色，而是要盡早地發(fā)現(xiàn)和治療，這樣才能提高治愈率。
肺癌之所以可怕，是因為它的初期癥狀非常不明顯，很容易被忽略掉，而到了晚期則會發(fā)生癌細胞轉(zhuǎn)移，導(dǎo)致治療非常困難。美國腫瘤協(xié)會一系列的研究表明，檢測肺部結(jié)節(jié)是早期發(fā)現(xiàn)肺癌的一個非常有效的手段。由于肺部結(jié)節(jié)腫瘤的尺寸很小，在傳統(tǒng)的X-ray胸部透視平片上是很難看到的，而通過低劑量CT進行早期篩查，能夠極大地提高早期肺癌的診斷率。
我們知道，CT斷層成像是分辨率非常高的三維成像，所以它的數(shù)據(jù)量也非常大。每個病人基本上都有幾百張斷片成像，這樣就導(dǎo)致了醫(yī)生診斷非常困難，花的時間也非常多。由于它診斷的困難性，所以有不少人在很早期時就提出來用計算機輔助診斷，利用計算機的大運算量來幫助醫(yī)生進行診斷，一直到深度學習的出現(xiàn)，才使得這個想法變得可行，因為早期診斷算法的診斷效率以及準確率都比較低，不能達到實用的要求。隨著深度學習的出現(xiàn)，在各種診斷率上面有了顯著的提高，也使得計算機輔助診斷的想法成為了可能。
就肺癌診斷這個方向來說，其實絕大多數(shù)其他疾病的診斷跟肺癌診斷的應(yīng)用場景是比較相似的。由于數(shù)據(jù)量非常龐大，由醫(yī)生一張張來找是非常困難的一件事情。所以，我們可以通過算法來自動進行疾病的病灶檢測和定位，在進行了病灶的定位以后，還可以做一些輔助性的定性分析，比如結(jié)節(jié)的良惡性判斷等工作，由于有隨訪的要求，那么一個病人可能是在經(jīng)過半年時間左右再回來復(fù)查的時候，我們需要了解結(jié)節(jié)的變化大小，所以這些數(shù)據(jù)由計算機來計算，就非常方便。深度學習由于它快速有效的運算以及非常高的精度，使得其在不少實際的識別問題中已經(jīng)達到了接近人的視覺經(jīng)驗的水平，同時它是比較智能化的，可以通過大量數(shù)據(jù)的訓(xùn)練來增強它的準確性。
深度學習應(yīng)用在醫(yī)學中也可以去生成自動學習的特征來進行疾病的識別和判斷，也可以自動生成結(jié)構(gòu)化的診斷報告，輔助進行科學研究以及教學培訓(xùn)。
那么傳統(tǒng)的CAD技術(shù)為什么達不到這些效果呢？在傳統(tǒng)的CAD技術(shù)里，主要是通過醫(yī)學影像分析，由那些有很多經(jīng)驗的人來設(shè)計一些比較適合做不同類型疾病檢測的特征值，比如紋理分析、邊緣檢測以及物體檢測的各種不同的特征函數(shù)，比如SIFT或HoG等。
但是這些特征的訓(xùn)練完全是通過人來實現(xiàn)的，而人需要去看大量的病例，然后從數(shù)據(jù)中總結(jié)出經(jīng)驗，而且不可能用太多的特征來做這件事情，所以導(dǎo)致了疾病的診斷率一直上不來，同時在面對不同疾病的時候，又需要設(shè)計一套完全不同的特征向量，這也是傳統(tǒng)CAD技術(shù)沒辦法很快地應(yīng)用到醫(yī)學的不同領(lǐng)域中去的原因。
隨著深度學習技術(shù)的出現(xiàn)，它對我們最大的貢獻是提供了一套可以從大量數(shù)據(jù)中自動學習最有效特征的算法。其實它也是在模擬人的視覺系統(tǒng)及識別系統(tǒng)中的一些實現(xiàn)方式，比如，以前人是通過看大量的圖像來人為地選取特征，而現(xiàn)在變成利用梯度的反向傳播原理來自動提取特征向量。
深度學習的另外一個好處，就是它在訓(xùn)練的過程中，一直專注于優(yōu)化準確率，而且它可以通過看大量的訓(xùn)練數(shù)據(jù)來實現(xiàn)最優(yōu)的準確率，如果讓人類來做這個設(shè)計的話，幾乎是不可能實現(xiàn)的。我們不可能去把所有的圖都去算一遍，然后去調(diào)整閾值，調(diào)整各種權(quán)重之類的參數(shù)來達到最優(yōu)，現(xiàn)在這些都是由具備超強運算能力的GPU來實現(xiàn)的。
這個圖就是深度學習早期時候的一些文章，顯示它訓(xùn)練出來的特征向量，我們可以看到，其實在前幾層的時候，深度學習選出來的特征向量跟人選出來的特征值是非常接近的。比如各種不同角度的edge detection，以前人類來設(shè)計特征向量也有各種角度多個尺度的Gabor Filter Bank等這些設(shè)計，相比來說其實是非常類似的。但是人沒辦法進入更高層的抽象，所以導(dǎo)致識別的效率沒有那么高，可以看到，在后面幾層識別出來的這些特征，就比較接近每個元部件的組成。
可以看到，如果我們要識別不同物體的種類，比如樹、貓、狗等，那么深度學習一開始在所有網(wǎng)絡(luò)里面的權(quán)重都是隨機選取的，這時它出來的結(jié)果很可能是完全沒有道理的，比如給它一張貓的圖片，它可能認為是烏龜，但是我們因為有這個類型的標識，所以我們可以知道這個做錯了，這時它就可以把錯誤反向傳播，同時希望使得給出的正確路徑得到進一步的增強，而錯誤的路徑則得到進一步的抑制，經(jīng)過多次這樣的循環(huán)以后，得到準確的特征向量。
整個學習的過程在早期是沒辦法實現(xiàn)的，電腦的計算能力雖然一直有非常快速的增長，也符合之前的摩爾定律，但即使如此，計算能力也一直沒辦法進行這么大規(guī)模的訓(xùn)練量，而隨著NVIDIA GPU的出現(xiàn)，運算能力已經(jīng)遠遠超過原來摩爾定律的設(shè)定，最主要原因當然是因為GPU可以進行大規(guī)模的并行計算，我們知道這些特征的計算都是基于一個小的區(qū)域來進行的，而在整張圖像上的不同地方都是可以并行計算的。隨著GPU的發(fā)展，不同深度學習網(wǎng)絡(luò)的運算速度尤其是訓(xùn)練的速度已經(jīng)顯著增強，GPU比CPU的速度要快出好幾百倍。
因為針對的是三維醫(yī)學圖像，所以我們的算法使用的是三維卷積網(wǎng)絡(luò)，在三維的情況下，計算量更大，因此GPU的效果在我們實際機器上做出來的benchmark中，GPU效率使CPU的500多倍，在做最終推理的時候，大概是2000多倍。
拿到了DGX Workstation后，我們又跟之前用的P100 GPU做了比較，發(fā)現(xiàn)DGX的運算速度比P100要快一倍左右，在訓(xùn)練和推理過程中，基本上都是超過一倍的速度。
我一直覺得訓(xùn)練速度是一件非常重要的事情，因為在整個模型中，我們經(jīng)常需要去調(diào)各種模型參數(shù)、試驗不同的模型等，如果每調(diào)整一個參數(shù)我們都需要等上好幾天才能看到結(jié)果的話，那么整個算法模型優(yōu)化的過程就會變得非常沒有效率，可能過了幾天等結(jié)果出來了以后，我們都忘了想做什么測試了，所以現(xiàn)在如果能加快訓(xùn)練模型的速度，對研發(fā)是非常有好處的。
深度學習在醫(yī)療上已經(jīng)取得了非常廣泛的應(yīng)用，比如各種Pathology的圖像、腦影像的立體分割、基因序列預(yù)測、眼底視網(wǎng)膜成像，還有最新的Nature雜志上的皮膚癌診斷等。
我們的肺結(jié)節(jié)診斷系統(tǒng)實現(xiàn)了多個功能，就像前面列的在醫(yī)療場景里的應(yīng)用一樣，我們需要幫助醫(yī)生實現(xiàn)好幾個不同的功能，包括結(jié)節(jié)的檢測、對結(jié)節(jié)進行分割，然后給一些定量定性的分析，也可以對結(jié)節(jié)的不同時期的隨訪病人跟蹤其每個結(jié)節(jié)在時間上的變化，然后是結(jié)節(jié)的檢索，可以看出過去類似結(jié)節(jié)的分析結(jié)果，以及對結(jié)節(jié)做出最終的良惡性判斷，判斷它是哪個類型的，是良性還是惡性，最后還可以自動生成報告，整個流程極大地加速了醫(yī)生的診斷過程。
整個系統(tǒng)花一分鐘左右的時間就能夠完成所有肺結(jié)節(jié)的診斷，而對肺結(jié)節(jié)診斷的敏感性達到96.7%，良惡性判斷的準確率為90%，相當于高年制副主任醫(yī)師的水平。
這是我們模型設(shè)計的框架，是基于多任務(wù)的深層神經(jīng)網(wǎng)絡(luò)模型來做的。為了做整個結(jié)節(jié)的檢測，我們需要完成多個任務(wù)，包括肺部的分割、結(jié)節(jié)的檢測、結(jié)節(jié)的分割，然后進行結(jié)節(jié)的隨訪和檢索，以及結(jié)節(jié)的定量定性分析，比如判斷結(jié)節(jié)的種類、良惡性。這些任務(wù)都有它們自己的訓(xùn)練數(shù)據(jù)，但是它們之間共享深度學習網(wǎng)絡(luò)層的特征，只是在最后進行不同的任務(wù)而已。在訓(xùn)練的時候，根據(jù)不同的任務(wù)，它的訓(xùn)練標注模式也是不一樣。
上面這張圖就顯示了幾個我們檢測到的結(jié)節(jié)，一般結(jié)節(jié)看起來是什么樣子的呢？我們可以看到，肺部的結(jié)節(jié)種類是非常多的，尤其是在中國，有不少毛玻璃類型的結(jié)節(jié)，他們之間的對比度非常弱，也非常小，我們可以看到它跟邊上的血管、氣管對比度要弱很多，但是由于我們是利用深度學習訓(xùn)練出來的模型進行識別，它是自動進行的，可以看到3D的圖像，不光是在二維層面去看這個圖像，同時可以制造上下層之間的關(guān)系，利用整個空間信息來最終實現(xiàn)結(jié)節(jié)的診斷。
目前我們的肺結(jié)節(jié)診斷系統(tǒng)已經(jīng)安裝了超過一百家醫(yī)院。在試用期間已經(jīng)處理了超過90萬的病例，幫助避免漏診20000個左右的結(jié)節(jié)，我們之前也在CCR做過“醫(yī)生+AI”和“醫(yī)生”的比較，發(fā)現(xiàn)“醫(yī)生+AI”能夠節(jié)省80%的讀片時間，同時還能降低漏診率，因為我們在看到結(jié)節(jié)非常微小的時候，是很容易漏診的。在醫(yī)生劃過整個CT volume的時候，是非常容易漏診掉的。
上面這張圖里面就是我們在試用的過程中找到的一些結(jié)節(jié)，其中有一些做了病理的檢測。我們可以看到，對于這個病例的第一個結(jié)節(jié)，算法認為它是中等風險，最后病理檢測出來確實是良性的，是不典型增生。
這是另外一個病例，雖然這個結(jié)節(jié)的尺寸也非常小，還不到一厘米。但是它是磨玻璃的形狀，我們的算法分析出它的風險度比較高，最后實際的病理測試證明它確實是惡性的微浸潤肺腺癌。
所以從整個的使用情況來看，我們非常高興看到計算機輔助診斷確確實實能夠很大地提高醫(yī)生的診斷率，提高醫(yī)生的效率，以及防止漏診和誤診等。我們寫出來的算法并不是要去替代醫(yī)生，而是希望能更好地去輔助醫(yī)生，提升醫(yī)生的工作效率，能夠集中精力去確定病人的治療方案，而不是花在很多計算機輕易就能做得很好的一件事情上。
今天的內(nèi)容基本上就是這些了。非常高興能有機會和大家交流深度學習在圖像上的應(yīng)用。希望感興趣的人可以跟我們公司聯(lián)系。謝謝大家！
另外，陳韻強博士在Q&A環(huán)節(jié)針對「智能醫(yī)療」社群六位用戶的提問進行了回答，以下是實錄：
問題一
趙兵強 浙江省嘉善縣中醫(yī)醫(yī)院放射科主任
1、低劑量胸部掃描是否同樣能識別結(jié)節(jié)的良惡性？
2、高分辨率模式重建和標準窗重建對結(jié)節(jié)識別有什么區(qū)別？
陳韻強：1、第一個問題,答案是肯定的，我們知道美國腫瘤協(xié)會公布了大量的肺癌數(shù)據(jù)，都是低劑量胸部掃描的數(shù)據(jù)，我們的算法在這方面測試識別的準確率還是相當高的。
2、關(guān)于第二個問題，我們在實際訓(xùn)練的時候，不同重建模式的數(shù)據(jù)都會放在訓(xùn)練數(shù)據(jù)里面，這些重建的參數(shù)會影響圖像的特征，所以我們把這些不同的重建模式都放在訓(xùn)練數(shù)據(jù)里面，可以實現(xiàn)更加通用的檢測算法。
問題二
汪翼 太原航空儀表工程師
目前醫(yī)療影像領(lǐng)域識別肝細胞癌(CT或者MRI)最新的和主流的深度學習模型是什么？3DU-net在醫(yī)療影像的應(yīng)用前景如何？
陳韻強：現(xiàn)在識別大多數(shù)還是用的是ResNet，DenseNet等識別模型。3DU-net還是比較適合醫(yī)療影像的圖像分割的，現(xiàn)在取得的成績也相當不錯。大多數(shù)人會采用改良的3DU-net來做醫(yī)療影像分割。
問題三
劉春雷-連心醫(yī)療深度學習算法工程師
醫(yī)學圖像分割相對傳統(tǒng)圖像分割有哪些難點？目前表現(xiàn)突出的用于醫(yī)療圖像分割的網(wǎng)絡(luò)模型有哪些？
陳韻強：就我個人感覺，醫(yī)學圖像主要是人體各種疾病的診斷，所以它上下文的信息是非常重要的。即使醫(yī)生在看醫(yī)學圖像的時候，也需要知道他在看哪個器官的哪類疾病，然后來幫助診斷出病灶；另外一個比較重要的是高分辨率的圖像信息，通常來說病灶都是非常微小的，如果做了任何down-scaling 這種事情的話，信息就會丟掉很多，就變得很難找到，所以現(xiàn)在表現(xiàn)比較突出的醫(yī)療分割網(wǎng)絡(luò)，比如U-net結(jié)構(gòu)，它可以比較有效地集成不同尺度的信息。
問題四
陳嘉偉 南方醫(yī)科大學
影像數(shù)據(jù)的預(yù)處理環(huán)節(jié)對于整個模型訓(xùn)練過程中有多大關(guān)鍵影響，能否以一個實例分析一下嗎？
陳韻強：我覺得預(yù)處理這個環(huán)節(jié)，基本上跟傳統(tǒng)CAD的做法很像，通過人的先驗知識去找到一個特定的特征空間來幫助算法檢測目標。實際上如果在訓(xùn)練數(shù)據(jù)比較多的時候，深度學習很可能自己學出來；如果在訓(xùn)練數(shù)據(jù)比較小的時候，預(yù)處理就會顯得比較重要一些。
問題五
盧紅陽 中科院醫(yī)工所
深度學習在磁共振成像中的應(yīng)用如何？
陳韻強：深度學習在不同的醫(yī)學成像、模組里面都有很大的應(yīng)用范圍。深度學習在核磁共振里面，我看到相關(guān)的研究方向有腦部分割、做肝結(jié)節(jié)檢測、心臟功能分析等，涉及到這方面的工作也非常的多。
問題六
陳章 Thomas Jefferson Hospital
請問醫(yī)療影像數(shù)據(jù)一般如何獲??？
陳韻強：大家也都發(fā)現(xiàn)，大量的數(shù)據(jù)訓(xùn)練深度學習網(wǎng)絡(luò)能夠做出更好的結(jié)果，去造福廣大患者，增加醫(yī)療準確性?，F(xiàn)在數(shù)據(jù)獲取已經(jīng)遠遠不像以前那么困難，當然醫(yī)療數(shù)據(jù)還是比較敏感的，所以一定要匿名化，這些操作如果符合內(nèi)化的規(guī)則，數(shù)據(jù)還是可以獲取到的。
聯(lián)系客服
