中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

為了在自動(dòng)駕駛拍攝圖像并360度范圍的測量物體的距離，需要小巧且低成本的設(shè)備，我們一直在開發(fā)一種全景立體相機(jī)，利用兩個(gè)雙曲面鏡和一組鏡頭和傳感器，這使得這款相機(jī)結(jié)構(gòu)緊湊，成本低廉。這里我們建立了一種新的相機(jī)標(biāo)定方法，該方法考慮了高階徑向畸變、切向畸變、圖像傳感器傾斜和透鏡-鏡面的偏移，我們的方法將上視圖和下視圖圖像的校準(zhǔn)誤差分別降低了6.0倍和4.3倍，距離測量的隨機(jī)誤差為4.9%，相距14米的物體的系統(tǒng)誤差為5.7%，與傳統(tǒng)方法相比提高了近9倍，距離誤差是由于原型的光學(xué)分辨率降低，我們計(jì)劃在未來的工作中進(jìn)一步改進(jìn)。

自動(dòng)駕駛汽車需要感知周圍環(huán)境，例如接近的汽車和行人，因此，需要傳感器來檢測和測量360度范圍物體的距離，該傳感器的要求是大視場（FoV），能夠檢測物體，足夠的距離精度，以及可承受的成本。一些研究和公司嘗試使用激光雷達(dá)（光探測和測距）和相機(jī)的組合來滿足這些要求。在激光雷達(dá)的系統(tǒng)中，激光雷達(dá)能夠提供大視場和1 cm的極高距離精度，相機(jī)提供用于目標(biāo)檢測的圖像，然而，該系統(tǒng)的主要問題是成本高，這激光雷達(dá)的高成本是該系統(tǒng)成為自動(dòng)駕駛中的最大挑戰(zhàn)之一，另一種方案則選擇是采用雙目立體攝像機(jī)，立體攝像機(jī)能夠使用圖像檢測物體，并能夠計(jì)算出適當(dāng)精度的物體距離，由于單臺(tái)相機(jī)的視場限制在120度左右，因此一種可能的解決方案是在一輛車周圍放置多臺(tái)相機(jī)，以實(shí)現(xiàn)更大的視場，然而，這使得系統(tǒng)變得昂貴和復(fù)雜。解決這個(gè)問題的一個(gè)可能方法是擴(kuò)大單個(gè)立體相機(jī)的視場，為此，我們開發(fā)了一種具有新型光學(xué)系統(tǒng)的全向立體相機(jī)，其設(shè)計(jì)見我們之前的研究（3,4）。該相機(jī)由兩個(gè)雙面雙曲鏡、一個(gè)廣角鏡頭和一個(gè)圖像傳感器組成，該系統(tǒng)滿足上述所有要求，首先，雙曲面鏡可以實(shí)現(xiàn)360度的大視場，第二，由于這是一個(gè)立體相機(jī)，可以同時(shí)獲得目標(biāo)檢測圖像和距離信息，第三，該相機(jī)僅利用一組鏡頭和傳感器從兩個(gè)視點(diǎn)獲取立體視覺所需的圖像，從而節(jié)省了一組鏡頭和傳感器的成本，此外，作為實(shí)現(xiàn)360度視野的一種方式，雙曲線鏡與魚眼透鏡相比具有成本效益，該光學(xué)系統(tǒng)設(shè)計(jì)用于滿足14米距離物體5%的距離誤差，當(dāng)帶有此攝像頭的自動(dòng)駕駛汽車進(jìn)入十字路口時(shí)，此功能足以定位十字路口的物體，包括其他車輛和行人。

這里還需要開發(fā)一種新的校準(zhǔn)方法，對(duì)傳感器圖像進(jìn)行畸變校正，以獲得準(zhǔn)確的距離信息，因?yàn)楣鈱W(xué)系統(tǒng)非常新穎，F(xiàn)oV比普通透視相機(jī)大得多，Zhang提出了一種使用棋盤的方法，可以靈活地放置棋盤，這是一種簡單校準(zhǔn)方法，Mei和Rives將張的方法擴(kuò)展到全方位相機(jī)，包括使用雙曲鏡的相機(jī)，由于我們的光學(xué)系統(tǒng)是由兩個(gè)雙曲面鏡和一個(gè)廣角成像透鏡組合而成，因此他們的方法基本上可以應(yīng)用于我們的系統(tǒng)，但是，它不處理廣角成像鏡頭和系統(tǒng)的一些失真，校準(zhǔn)不足也會(huì)導(dǎo)致距離信息不準(zhǔn)確甚至丟失。

圖1，（左）全向立體相機(jī)的光學(xué)設(shè)計(jì)，彩色線顯示入射光線，這些光線被雙曲鏡反射并進(jìn)入透鏡系統(tǒng)。（右）按照光學(xué)設(shè)計(jì)建造原型。

全向立體相機(jī)的光學(xué)設(shè)計(jì)

全向立體相機(jī)的光學(xué)設(shè)計(jì)如圖1的左圖所示，該系統(tǒng)由兩個(gè)雙曲面鏡、一個(gè)圖像傳感器和一個(gè)魚眼狀廣角透鏡單元組成，入射到雙曲鏡焦點(diǎn)的光線在透鏡單元的方向上反射，并在圖像傳感器上成像，這意味著上下反射鏡反射的光線分別構(gòu)成上視圖和下視圖圖像，前一種光線由上反射鏡反射，在傳感器的內(nèi)部區(qū)域成像，后一種光線由下反射鏡反射，在外部區(qū)域成像，透鏡單元設(shè)計(jì)用于減少由反射鏡引起的共焦像差和像散，該系統(tǒng)具有成本效益，因?yàn)樗褂秒p曲面鏡而不是魚眼透鏡來獲得360度的圖像。另一個(gè)原因是，它只使用一組鏡頭和傳感器就可以獲得上下圖像。相距14米的物體的目標(biāo)距離誤差為5%。當(dāng)使用兩個(gè)相距約2米的攝像機(jī)時(shí)，這種精度反過來對(duì)應(yīng)于相距300米的物體的5%距離誤差。

構(gòu)建的原型

構(gòu)建的原型顯示在圖1的右面板中。除了光學(xué)設(shè)計(jì)中描述的部件外，還添加了一個(gè)玻璃圓柱體，用于固定上下后視鏡。我們使用IDS UI-3592LE-C版本的圖像傳感器。其分辨率為4912×3684，雖然這種光學(xué)系統(tǒng)可以實(shí)現(xiàn)360度FoV，但當(dāng)攝像頭安裝在汽車的一個(gè)角落時(shí)，F(xiàn)oV的一部分將變得無效，因此，對(duì)于該原型，圖像傳感器被放置在離軸位置，以使水平FoV為270度，上下圖像的垂直視場來自?50度到+10度以及從分別為-20度到+10度。圖2顯示了原型獲得的傳感器圖像。

圖2，該相機(jī)拍攝的傳感器圖像，內(nèi)部和外部區(qū)域分別對(duì)應(yīng)于上視圖和下視圖圖像

新的校準(zhǔn)方法

這里將介紹一種新的全向立體相機(jī)校準(zhǔn)方法。基于Mei和Rives程序，我們新考慮了魚眼狀廣角成像透鏡、圖像傳感器的傾斜以及反射鏡和透鏡之間的偏移。從傳感器圖像獲取距離信息的過程中，有三個(gè)步驟：

第一步是展開圖像。我們采用圓柱形展開，因?yàn)槲覀兙劢沟膮^(qū)域的圖像不會(huì)因該投影而顯著失真。另一個(gè)原因是，在短距離配置中，每個(gè)圖像中的對(duì)應(yīng)點(diǎn)以垂直線對(duì)齊，這使得應(yīng)用傳統(tǒng)塊匹配過程變得容易。在進(jìn)行上述圓柱擴(kuò)展的同時(shí)，我們消除了圖像失真。這稱為攝像機(jī)校準(zhǔn)程序。

第二步是圖像校正，將上視圖和下視圖圖像變換為投影到同一圓柱體上，最后一步是執(zhí)行塊匹配過程以計(jì)算兩幅圖像之間的差異，對(duì)于可靠的距離測量，需要精確校準(zhǔn)，由于我們的鏡頭單元有很大的失真，并且原型可能會(huì)受到一些失調(diào)的影響，因此我們需要一種考慮這些因素的新校準(zhǔn)方法。此外，該原型的大視場使得精確校準(zhǔn)變得困難。我們的方法基于Mei和Rives的全向相機(jī)校準(zhǔn)方法，該方法采用了使用標(biāo)定板的靈活校準(zhǔn)方法。該方法采用參數(shù)化光學(xué)模型來模擬光學(xué)系統(tǒng)，如果模型足夠精確，在充分再現(xiàn)畸變和未對(duì)準(zhǔn)的情況下，也可以進(jìn)行精確的圓柱形膨脹。

為了構(gòu)造精確的光學(xué)模型，基于MEI和 Rives模型，考慮附加的五個(gè)因素：高階徑向畸變、切向畸變的徑向依賴性、薄棱鏡畸變、圖像傳感器的傾斜和透鏡鏡偏移。具體公式有興趣可查看原文。

圖4，從圖2中顯示的傳感器圖像計(jì)算圖像。（中上部和中上部）使用我們的新光學(xué)模型以圓柱體投影的上視圖和下視圖圖像。（中下部）根據(jù)上面兩幅圖像計(jì)算的視差圖像。近和遠(yuǎn)的對(duì)象分別以紅色和藍(lán)色顯示。（下）根據(jù)使用先前模型校準(zhǔn)的上視圖和下視圖圖像計(jì)算的視差圖像

我們以與OpenCV（開源計(jì)算機(jī)視覺）庫中實(shí)現(xiàn)的omnidir:：calibrate函數(shù)相同的方式對(duì)參數(shù)進(jìn)行優(yōu)化，這里使用圓形網(wǎng)格板，其性能優(yōu)于棋盤，優(yōu)化參數(shù)如表1和表2所示。圓柱形投影的結(jié)果如圖4上部兩個(gè)面板所示，使用OpenCV庫中實(shí)現(xiàn)的cv:：stereoBM函數(shù)計(jì)算視差圖像，如圖4中下部面板所示。為了進(jìn)行比較，我們還在圖4的下面板中提供了一個(gè)使用先前模型計(jì)算的視差圖像。我們的標(biāo)定方法得到了更大的視差和清晰的地面梯度。

校準(zhǔn)誤差的評(píng)估

評(píng)估校準(zhǔn)精度的方法之一是評(píng)估傳感器圖像上模型的精度，我們計(jì)算標(biāo)定板檢測到的圖像和模型預(yù)測的圓位置之間的差異，向量的長度和方向表示模型在每個(gè)點(diǎn)的系統(tǒng)誤差量和方向。雖然使用之前的模型時(shí)仍存在系統(tǒng)誤差，但我們的模型顯著減少了誤差。對(duì)于上視圖和下視圖圖像，前一模型的差異均方根分別為1.67像素和1.12像素，這對(duì)距離精度具有不可忽略的影響。另一方面，使用我們的光學(xué)模型，上視圖和下視圖圖像的均方根分別從1.67像素提高到0.28像素，從1.12像素提高到0.26像素。對(duì)于上視圖和下視圖圖像，這分別是改進(jìn)的6.0倍和4.3倍。4.2. 獲得的視差圖像和點(diǎn)云為了展示我們相機(jī)的精度和局限性，我們在圖6和圖7中顯示了RGB圖像、視差圖像和點(diǎn)云。在圖6中，顯示了在內(nèi)部拍攝的圖像和點(diǎn)云。相距14米的物體，包括平坦的地板、植物、木架和桌子都被復(fù)制出來。圖7顯示了在室外拍攝的圖像和點(diǎn)云。在14米的范圍內(nèi)，鋪砌道路、樹木和路緣石的結(jié)構(gòu)被復(fù)制。這一結(jié)果證明，該攝像機(jī)能夠滿足自動(dòng)駕駛汽車檢測范圍內(nèi)行人、其他車輛和障礙物的要求。

圖5，上部分和下部分視圖圖像檢測到的圖像和模型預(yù)測的圓位置之間的組合差異，左面板和右面板分別顯示了先前模型和新光學(xué)模型的結(jié)果，矢量顯示像素單位的位置差異，但放大了200倍，而彩色貼圖顯示像素單位的差異量，傳感器區(qū)域顯示為灰色矩形

圖6，RGB圖像、視差圖像和內(nèi)部場景的點(diǎn)云，為清晰起見，我們僅顯示視場的180度，A、 B、C和D顯示了相應(yīng)的對(duì)象，在對(duì)象C的四個(gè)表中，最近的和最遠(yuǎn)的分別位于距離攝像機(jī)4.5米和12米的位置

圖8，測量距離與實(shí)際距離之間的距離介于4.5和14 m之間。藍(lán)色點(diǎn)顯示圖6所示的點(diǎn)云部分的每個(gè)點(diǎn)，黑點(diǎn)表示箱子中的平均值和垂直誤差條1?? 標(biāo)準(zhǔn)差，粗灰色線表示精確的距離測量，細(xì)灰色線顯示與真實(shí)值的偏差為5%。

我們已經(jīng)為我們的全向立體相機(jī)開發(fā)了一種新的校準(zhǔn)方法，以便通過短距離配置精確校正畸變，以實(shí)現(xiàn)14米距離物體5%的距離誤差，在Mei和Rives以前的校準(zhǔn)方法的基礎(chǔ)上，我們考慮了高階徑向畸變，提高了校準(zhǔn)精度，詳細(xì)介紹了切向失真、圖像傳感器傾斜和透鏡-鏡偏移。我們的方法將上視圖和下視圖圖像的校準(zhǔn)精度的均方根分別降低了6.0倍和4.3倍。距離的系統(tǒng)誤差為5.7%，最大距離為14米的物體，與先前方法計(jì)算的距離相比，提高了近9倍，與5%的目標(biāo)值幾乎相同。標(biāo)準(zhǔn)偏差不超過4.9%。作為未來的工作，光學(xué)分辨率的提高可導(dǎo)致精度的進(jìn)一步提高。我們已經(jīng)證明，我們的攝像頭能夠定位14米范圍內(nèi)的物體，如行人、其他車輛和障礙物。除了本文描述的距離測量外，自動(dòng)駕駛還需要目標(biāo)識(shí)別。進(jìn)一步改進(jìn)和優(yōu)化我們的暫定識(shí)別系統(tǒng)將使這款相機(jī)成為一款經(jīng)濟(jì)高效的用于自動(dòng)駕駛傳感器。

參考文獻(xiàn)

(1) Ishii, T., Shimano, T., Takemura, M. et al., "Development of Omnidirectional 3 Dimensional Surround Sensing System Composed of Single-Eye Stereo Cameras," JSAE Annual Congress (Spring) Proceedings, No. 52-19 (2019).

(2) Shimano, T., Ishii, T., Ohta, M. et al., "Vertical disparity single-eye stereo camera for wide angle 3 dimensional surround sensing of automobiles," JSAE Annual Congress (Spring) Proceedings, No. 52-19 (2019)

掃描下方微信視頻號(hào)二維碼可查看最新研究成果及相關(guān)開源方案的演示：