/***********************************************************************

感謝博主的分享

轉(zhuǎn)自：http://blog.csdn.net/wangyaninglm/article/details/51533549

**********************************************************************/

計(jì)算機(jī)視覺是一門研究使用計(jì)算機(jī)來模擬人的視覺系統(tǒng)的學(xué)科?！耙粓D勝千言”，人類對于圖像中的信息感知效率遠(yuǎn)超文字等其他媒介，人類獲取的信息總量中更是有高達(dá)80%依靠視覺系統(tǒng)[1]。相對于人類高效的圖像信息提取能力，計(jì)算機(jī)在圖像信息的理解上仍然效率低下。
計(jì)算機(jī)視覺作為一門交叉學(xué)科，綜合了生物學(xué)，心理學(xué)，數(shù)學(xué)，計(jì)算機(jī)科學(xué)等學(xué)科，從20世紀(jì)60年代至今其在科學(xué)研究領(lǐng)域中的大量成果已經(jīng)應(yīng)用于工程領(lǐng)域，并影響了我們每個(gè)人生活的方方面面。
雙目立體視覺是計(jì)算機(jī)視覺領(lǐng)域的重要分支，它通過模擬人的視覺系統(tǒng)來處理現(xiàn)實(shí)世界。以機(jī)器人，無人汽車導(dǎo)航為例，由于雙目立體匹配在非接觸測量中的優(yōu)秀性能，視覺測量在探月工程，火星探測工程中起到了重要作用[2]，如圖所示的我國嫦娥探月工程的巡航車就配備了立體視覺導(dǎo)航系統(tǒng)，來進(jìn)行行進(jìn)間的運(yùn)動(dòng)控制和路徑規(guī)劃[3]。

1.1 研究背景與意義

立體匹配是一種從平面圖像中恢復(fù)深度信息的技術(shù)。由于雙目立體匹配系統(tǒng)通過模擬人眼視覺感知原理，僅需要兩臺數(shù)字?jǐn)z像機(jī)安裝在同一水平線上，經(jīng)過立體矯正就可以投入使用。具有實(shí)現(xiàn)簡單，成本低廉，并且可以在非接觸條件下測量距離等優(yōu)點(diǎn)。在機(jī)器人制導(dǎo)系統(tǒng)中可以用于導(dǎo)航判斷、目標(biāo)拾取，在工業(yè)自動(dòng)化控制系統(tǒng)中可用于零部件安裝、質(zhì)量檢測，環(huán)境檢測，在安防監(jiān)控系統(tǒng)中可用于人流檢測，危害報(bào)警。

近年來，隨著社會(huì)的科技進(jìn)步，立體匹配技術(shù)的發(fā)展日新月異，隨著匹配算法精度與速度的提高，其應(yīng)用場景進(jìn)一步擴(kuò)大。在此背景下，研究立體匹配變的意義非凡。
立體匹配作為三維重建、立體導(dǎo)航、非接觸測距等技術(shù)的關(guān)鍵步驟通過匹配兩幅或者多幅圖像來獲取深度信息。并且廣泛應(yīng)用于，工業(yè)生產(chǎn)自動(dòng)化、流水線控制、無人駕駛汽車（測距，導(dǎo)航）、安防監(jiān)控、遙感圖像分析、機(jī)器人智能控制等方面。雖然立體匹配應(yīng)用廣泛但是還有很多尚未解決的難題因此該技術(shù)成為了近年來計(jì)算機(jī)視覺領(lǐng)域廣泛關(guān)注的難點(diǎn)和熱點(diǎn)。
立體匹配作為一種工程化問題，在實(shí)施過程中有多種因素影響其精度與速度，并沒有一種復(fù)雜算法可以完整的處理立體匹配的整個(gè)流程，本文所述算法主要針對立體匹配中圖像像素匹配并計(jì)算視差這一核心步驟。

通常根據(jù)立體匹配算法所采用的約束，可以將其分為兩大類算法[5]：

第一類為基于區(qū)域約束的局部匹配算法。如采用匹配窗的代價(jià)聚合算法（平方差算法SSD，絕對差算法SAD，歸一化算法NCC等）；采用特征點(diǎn)的匹配算法；采用相位匹配的的匹配算法。這些算法的優(yōu)點(diǎn)是運(yùn)算速度快，能夠快速恢復(fù)出紋理豐富區(qū)域的視差。缺點(diǎn)是在低紋理區(qū)域會(huì)造成誤匹配[6]，得到的視差圖不致密，需要在后期通過插值算法來進(jìn)行修正。
第二類為基于全局約束的優(yōu)化算法，如圖割算法(Graph Cuts, GC)，人工智能算法（神經(jīng)網(wǎng)絡(luò)，遺傳算法），置信傳播算法(Belief Propagation, BP)，動(dòng)態(tài)規(guī)劃算法(Dynamic Programming, DP)。這些算法雖然運(yùn)算時(shí)間較長并且會(huì)產(chǎn)生一些誤匹配，但是基本上能夠獲得所有的視差信息從而生成稠密的視差圖。

1.2 國內(nèi)外研究現(xiàn)狀

國外在計(jì)算機(jī)立體視覺上的研究開展較早，Roy[7]最早將圖割算法應(yīng)用于立體匹配，并通過實(shí)驗(yàn)表明，圖割算法能有效克服其他全局優(yōu)化算法的缺點(diǎn)（如動(dòng)態(tài)規(guī)劃算法等生成視差圖產(chǎn)生的橫向條紋瑕疵），避免了視差在臨近極線處不連續(xù)的問題。但該算法生成的視差圖輪廓邊緣模糊，視差層的區(qū)分度低。Geiger等[8]，針對高分辨率圖像立體匹配運(yùn)算時(shí)間長的問題，創(chuàng)造性的提出了使用強(qiáng)約束點(diǎn)（紋理或特征信息較為豐富）作為支撐點(diǎn)，在強(qiáng)約束點(diǎn)之間通過三角剖分對視差圖進(jìn)行插值計(jì)算，結(jié)合OpenMP技術(shù)在通用CPU上實(shí)現(xiàn)了并行計(jì)算，操作簡單易于搭建環(huán)境，在通用微型計(jì)算機(jī)上實(shí)現(xiàn)了實(shí)時(shí)立體匹配，但是匹配效果和基于全局優(yōu)化的匹配算法有一定差距。

國內(nèi)對于立體視覺的研究起步較晚，早期主要采用基于特征點(diǎn)匹配的方法，隨著技術(shù)的進(jìn)步，后序?qū)αⅢw匹配的改進(jìn)工作主要集中在對全局優(yōu)化算法性能和準(zhǔn)確度的提升上。其中大部分方法采用對待匹配圖像進(jìn)行圖像分割后，再結(jié)合能量最優(yōu)化的方法進(jìn)行立體匹配。如尹等[9]采用均值平移算法將參考圖像根據(jù)顏色信息快速聚類；之后計(jì)算初始視差圖；將分割結(jié)果作為能量視差函數(shù)的一個(gè)參考項(xiàng)；最后采用圖割算法求取使全局能量最小的視差最優(yōu)分配。此種基于圖像分割的立體匹配方法的理論基礎(chǔ)認(rèn)為，分割區(qū)域塊內(nèi)的視差變化是平滑的。因此與其他基于圖像分割的立體匹配算法相比，此類算法[9]可有效地處理大塊低紋理區(qū)域，匹配精度高，更有利于估計(jì)視差圖的邊界。并且上述算法通過分割減少了匹配基元，使得運(yùn)算速度更快，能夠很好的解決的邊界模糊和低紋理區(qū)域的誤匹配問題。

立體匹配技術(shù)的應(yīng)用十分廣泛，王等[6]改進(jìn)了勇氣號機(jī)遇號火星車復(fù)雜的定位技術(shù)，在嫦娥3號月面巡航器的視覺導(dǎo)航系統(tǒng)中，將SIFT(scale-invariant feature transform) 匹配、相關(guān)系數(shù)匹配、最小二乘匹配和光束法平差等多項(xiàng)技術(shù)融合, 實(shí)現(xiàn)了相鄰站間月面巡視器的導(dǎo)航定位. 實(shí)驗(yàn)表明視覺定位相對精度優(yōu)于4%。
朱[8]針對工件的自動(dòng)定位、識別與抓取等問題，使用立體視覺的方法進(jìn)行工件識別的定位；對圖像就行SIFT特征提取，并采用模板匹配方法實(shí)現(xiàn)工件的識別。用形態(tài)學(xué)方法獲得工件特征點(diǎn)的二維信息,結(jié)合雙目立體視覺標(biāo)定技術(shù)得到工件的三維坐標(biāo)，為機(jī)器人抓取工件提供信息。
顧等[9]為實(shí)現(xiàn)統(tǒng)計(jì)實(shí)時(shí)人流，提出一種基于立體視覺的人頭檢測算法。該方法對雙目相機(jī)采集的圖像通過運(yùn)動(dòng)目標(biāo)檢測分離出運(yùn)動(dòng)人員所在區(qū)域，利用視差的連續(xù)性只對強(qiáng)紋理點(diǎn)進(jìn)行絕對誤差累積(SAD)匹配，其余點(diǎn)只進(jìn)視差驗(yàn)證，因此能夠得到稠密的視差圖，再由三角投影關(guān)系計(jì)算出深度圖。由于雙目立體成像得到的深度圖中人員與場景的深度分布不同，采用深度分層的方法將存在人頭信息的深度層提取出來，并通過幾何形態(tài)來確定人頭，該算法可以很好地適應(yīng)復(fù)雜場景下的人頭檢測，精度高、速度快。

Yang等[11]，提出了采用全局最小生成樹的代價(jià)聚合方案，像素間的相似性作為邊的權(quán)值，通過無向連通圖構(gòu)建最小生成樹，使得局部像素點(diǎn)獲取了全局的信息。解決了低紋理區(qū)域的誤匹配問題。（實(shí)際為對局部窗匹配算法的改進(jìn)。），針對采集的待匹配圖像可能帶有噪聲或者復(fù)雜紋理的問題，該團(tuán)隊(duì)進(jìn)行了系統(tǒng)化流程的設(shè)計(jì)改進(jìn)[14]。

顧等[11]為實(shí)現(xiàn)統(tǒng)計(jì)實(shí)時(shí)人流，提出一種基于立體視覺的人頭檢測算法。該方法對雙目相機(jī)采集的圖像通過運(yùn)動(dòng)目標(biāo)檢測分離出運(yùn)動(dòng)人員所在區(qū)域，利用視差的連續(xù)性只對強(qiáng)紋理點(diǎn)進(jìn)行絕對誤差累積(SAD)匹配，其余點(diǎn)只進(jìn)行視差驗(yàn)證，因此能夠得到稠密的視差圖，再由三角投影關(guān)系計(jì)算出深度圖。由于雙目立體成像得到的深度圖中人員與場景的深度分布不同，采用深度分層的方法將存在人頭信息的深度層提取出來，并通過幾何形態(tài)來確定人的頭部，該算法可以很好地適應(yīng)復(fù)雜場景下的人頭檢測，并且由于采用了基于局部優(yōu)化的匹配算法結(jié)合插值計(jì)算等手段所以其在精度、速度上都有很好的實(shí)時(shí)特性。

Yang等[12]，提出了基于最小生成樹的代價(jià)聚合方案，采用像素間的相似性作為邊的權(quán)值，通過無向連通圖構(gòu)建最小生成樹，使得局部像素點(diǎn)獲取了全局的信息。解決了低紋理區(qū)域的誤匹配問題。針對采集的待匹配圖像可能帶有噪聲或者復(fù)雜紋理的問題，Yang等在上述算法的基礎(chǔ)上進(jìn)行了系統(tǒng)化的流程設(shè)計(jì)與改進(jìn)[13]，利用左右交叉檢驗(yàn)精確更新代價(jià)聚合中穩(wěn)定和不穩(wěn)定的點(diǎn)的代價(jià)，提升了算法精度。
立體匹配算法的改進(jìn)，近年來主要圍繞如何快速獲取稠密視差圖以及將匹配算法并行化，Yang等[12][13]，利用保邊濾波器的性質(zhì)并加以改進(jìn)，融合并行計(jì)算技術(shù)，分別用導(dǎo)向?yàn)V波器和雙邊濾波器，針對局部匹配算法和全局匹配算法提出了工程化系統(tǒng)化的立體匹配并行流程方法。

ppt下載：立體匹配基礎(chǔ)

參考文獻(xiàn)

[1]馬頌德,張正友. 計(jì)算機(jī)視覺—計(jì)算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社,1997.
[2]邸凱昌. 勇氣號和機(jī)遇號火星車定位方法評述[J]. 航天器工程, 2009, 18(5):1-5.
[3]吳偉仁, 王大軼, 邢琰,等. 月球車巡視探測的雙目視覺里程算法與實(shí)驗(yàn)研究[J]. 中國科學(xué):信息科學(xué), 2011(12):1415-1422.
[4]王保豐, 周建亮, 唐歌實(shí),等. 嫦娥三號巡視器視覺定位方法[J]. 中國科學(xué)：信息科學(xué), 2014, 04期(04):452-460.
[5]白明, 莊嚴(yán), 王偉. 雙目立體匹配算法的研究與進(jìn)展[J]. 控制與決策, 2008, 23(7):721-729. DOI:doi:10.3321/j.issn:1001-0920.2008.07.001.
[6]張令濤, 曲道奎, 徐方. 一種基于圖割的改進(jìn)立體匹配算法[J]. 機(jī)器人, 2010, 32(1):104-108.
[7]Roy S, Cox I J. A maximum-flow formulation of the n-camera stereo correspondence problem[A]// IEEE International Conference on Computer Vision[A], 1998 January 4-7, Bombay India:492-499.
[8]Geiger A, Roser M, Urtasun R. Efficient large-scale stereo matching[M]//Computer Vision–ACCV 2010. Springer Berlin Heidelberg, 2011: 25-38.
[9]尹傳歷, 劉冬梅, 宋建中. 改進(jìn)的基于圖像分割的立體匹配算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2008, 20(6):808-812.
[10]朱代先. 基于雙目視覺的工件定位與抓取研究[J]. 計(jì)算機(jī)測量與控制, 2015, 19(1):92-94.
[11]顧騁, 錢惟賢, 陳錢,等. 基于雙目立體視覺的快速人頭檢測方法[J]. 中國激光, 2014, 01期(01):150-155.
[12]Yang Q. A non-local cost aggregation method for stereo matching[C]// Proceedings / CVPR, IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2012:1402-1409.
[13]Yang Q. Stereo Matching Using Tree Filtering[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2015, 37(4):834-846.
[14]Yang Q. Hardware-efficient bilateral filtering for stereo matching[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2014, 36(5): 1026-1032.
[15]Yang Q, Li D, Wang L, et al. Full-Image Guided Filtering for Fast Stereo Matching[J]. IEEE Signal Processing Letters, 2013, 20(3):237-240.
[16]Yang Q, Ji P, Li D, et al. Fast stereo matching using adaptive guided filtering[J]. Image and Vision Computing, 2014, 32(3): 202-211.

論文資源合集

立體匹配綜合論文集 : http://download.csdn.net/detail/wangyaninglm/9591251

基于圖像分割的立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591253

并行立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591255

基于置信傳播的立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591256

基于稠密匹配的論文合集： http://download.csdn.net/detail/wangyaninglm/9591259

轉(zhuǎn)載請注明出處：http://blog.csdn.net/wangyaninglm/article/details/51533549，
來自：
shiter編寫程序的藝術(shù)