一、背景
駕車時我們通常會參考位于車身兩側的后視鏡和車內的后視鏡，觀察車輛兩側和后方的狀況，雖然在駕駛時可以保證較高的安全性，但在泊車時僅僅依靠這三個后視鏡所提供的信息卻遠遠不夠。倒車雷達雖然可以提供前后障礙物的聲音提醒，但對于車輛兩側出現(xiàn)的障礙物卻無法進行檢測。倒車影像系統(tǒng)雖然可以將車輛倒車時的影像信息顯示在中控臺的顯示屏上，但車輛前后及兩側仍存在著很大的盲區(qū)，并且在駐車時多數(shù)發(fā)生的刮蹭狀況并不是在車身前后而是在兩側。
如果地上只有車位線，沒有其它參照物，估計很少有人能夠端端正正地把車停到車位中間，不是偏一邊就是跨位停車。如果兩車夾一空位，現(xiàn)在的車位都不是標準停車位，往往偏窄，估計也要前前后后倒好幾把才能勉強進去，而且很可能停得連自己的車門也開不了。
加上近年汽車的快速增加使得城市道路、小區(qū)停車日漸擁堵，令駕駛員在泊車時受到視野和車位狹小等客觀條件的限制，而極易發(fā)生擦碰事故，帶來不必要的損失。大多數(shù)的車輛刮蹭都是在出入車位和讓車時造成的，雖然車速不會很快，但不小心刮蹭到愛車的漆面仍是件非常惱人的事情。因此有了車身周圍全景環(huán)視行車輔助的需求。
這個全景環(huán)視概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。這一概念提出后，馬上引起了國內外眾多汽車生產廠商和相關科研單位的注意。雖然過去了六年，但到目前為止，基于這一觀點研發(fā)出成熟產品的廠家卻屈指可數(shù)。2007年，日產公司發(fā)布了首款全景行車安全系統(tǒng)“環(huán)景監(jiān)視系統(tǒng)AVM”，2008年本田推出了multi-view camera system，2009年阿爾派推出TOPVIEW系統(tǒng)，2010年Fujitsu公司開發(fā)了Multi-Angle Vision系統(tǒng)，寶馬公司自主研發(fā)的只有左、右、后三個方位視圖的泊車輔助系統(tǒng)首先應用在X6上，寶馬74系列上的全景系統(tǒng)還是其供應商提供的。
二、簡介
360度全景影像系統(tǒng)，又叫衛(wèi)星全景行車安全系統(tǒng)（也有叫全景輔助泊車系統(tǒng)、全景環(huán)視系統(tǒng)、全景式監(jiān)控影像系統(tǒng)、360度全景泊車輔助系統(tǒng)、汽車360環(huán)視系統(tǒng)），系統(tǒng)同時采集車輛四周的影像，經過圖像處理單元一系列的智能算法處理，最終形成一幅車輛四周的全景俯視圖顯示在屏幕上，直觀地呈現(xiàn)出車輛所處的位置和周邊情況。系統(tǒng)大大地拓展了駕駛員對周圍和環(huán)境的感知能力，使駕駛員在處理車輛起步、行車轉彎、泊車入位、窄道會車、規(guī)避障礙等情況時從容不迫、輕松自如，可以有效減少刮蹭、甚至碰撞碾壓等事故的發(fā)生。
三、工作原理
360度全景影像系統(tǒng)主要由以下六部分組成：圖像獲取、攝像機定標、圖像變換、圖像美化、圖像無縫拼接融合、圖像顯示。圖像的獲取往往利用安裝在車身前后左右4個超廣角攝像頭SWVC（Super-Wide-View-Camera）捕捉車輛周圍狀況。但由于采用SWVC后影像會產生“魚眼失真”的現(xiàn)象，所以必須通過數(shù)學算法進行畫面合成和畫面修正，合成一幅車身周圍的全景鳥瞰圖，從而將車輛四周真實畫面展示在車載顯示屏上，避免行車過程中的碰撞危險。因此，攝像機定標、圖像美化、圖像無縫拼接融合的核心算法將主導整個系統(tǒng)。
在攝像機內參標定部分，考慮制作標定工具取代手工作業(yè)，配合相應的算法進行攝像機標定。在攝像機外參標定部分，將打破傳統(tǒng)的標定方法，引入進化計算的思想優(yōu)化算法，在不影響標定精度的前提下簡化標定流程、縮短標定時間。在圖像拼接部分，因為不同攝像機成像系統(tǒng)的差異導致相同時間坐標點的成像也會有所偏差，所以舍棄利用相關點配準再融合的方法，并直接根據(jù)人眼視覺模型，采用視覺過渡的方法對圖像進行拼接融合。具體的實施步驟：
(1) 圖像的獲?。豪?70度以上超廣角攝像機獲取模擬信號，并將信號解析為圖像數(shù)據(jù)；
(2) 攝像機標定模型的建立：建立世界坐標與攝像機坐標的關系，建立攝像機坐標與圖像坐標的關系，從而確定世界坐標與圖像坐標的關系；
(3) 攝像機內參的標定：對攝像頭內參進行標定；
(4) 攝像機外參的標定：對攝像頭外參進行標定；
(5) 圖像光照一致性研究：研究同一場景下成像灰度值的關系，分析不同角度的光源對攝像機成像造成的影響，從而提出消減這種影響的算法；
(6) 圖像拼接融合：根據(jù)人眼的視覺模型，研究圖像縫隙視覺過渡的方法，從而消除圖像拼接引起的縫隙，達到圖像融合的目的。
(7) 圖像的顯示：優(yōu)化系統(tǒng)算法，將所得圖像對接顯示屏顯示。
(8) 形成產品：形成一套成熟的產品，該產品滿足360度全景影像系統(tǒng)功能。
在對圖像的處理上，不同的車型，因為四個攝像頭安裝的高度、寬度、仰角都不一樣，所以，真正的全景環(huán)視產品，針對每個車型都要有一套與之配套的差數(shù)軟件，才能真正實現(xiàn)無縫合成全景顯示。如果軟件做得好，可以把這些參數(shù)做到一起，通過后期的調試實現(xiàn)自適應。
四、關于算法
360度全景影像系統(tǒng)關鍵就在算法上，有很多人認為搞幾個軟件人員就可以將產品搞起來，實際上不是這么簡單的，每一種技術的積累是有過程的，除了對硬件本身有要求外，對算法的邏輯關系有非常重要的要求。
比如我們想計算達到1萬這個結果就有很多種算法：有100X100，慢一點是10X10X100，再慢一點是10X10X10X10，最慢的1+1+1+……1+1同樣達到1萬的結果，不同的計算方式，反映出來的效率是完全不一樣的。而一個全景要同時處理四組攝像頭采集的數(shù)據(jù)，攝像頭的采集是按幀來計算畫面的，一般不小于16幀，16乘于4，也就是說最簡單的要求同步處理64幅畫面的效果，同時還要進行補光平衡、裁剪、矯正、拼接等復雜的計算處理。不同的邏輯算法，帶來的效果是完全不一樣的，如果算法復雜，處理的數(shù)據(jù)多了，時間長了，就會造成反應遲緩、停頓、死機等現(xiàn)象出現(xiàn)，甚至造成硬件的癱瘓和損壞，這和電腦處理高清圖片、視頻是一樣的道理。
我們的理解，復雜的算法是需要天才來搞的，就象陳景潤和華羅庚一樣能有幾個？很多前裝的車輛為什么要用分割線掩蓋技術的缺陷，因為他們即使有很多軟件人才，但不一定有數(shù)學天才，這種人才是可遇不可求的。算法部分是通過ARM系統(tǒng)完成的，就像導航系統(tǒng)一樣，而一般軟件工程師以完成MCU部分為主，解決一些人員操控或者與其它系統(tǒng)之間的銜接匹配問題。如：為便于駕駛人員確認主要畫面（前進和倒車畫面），需要有專門和車輛通訊配套的控制端口，以便在車輛前進時自動切換為前進主畫面，倒車時切換為倒車主畫面；通過音響系統(tǒng)提供警報音，并在主畫面提示危險物體，以便提醒駕駛人員進行危險避讓。
聯(lián)系客服
