中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

虛擬增強(qiáng)現(xiàn)實(shí)技術(shù)越來(lái)越受到研究界和工業(yè)界的重視。通過(guò)將數(shù)字信息和內(nèi)容疊加到物理世界上，AR使用戶能夠以更信息化、更高效的方式體驗(yàn)世界。定位作為AR系統(tǒng)的一個(gè)重要組成部分，定位的目的是在已知的環(huán)境中從預(yù)先構(gòu)建的由視覺(jué)和深度信息組成的“地圖”中確定設(shè)備的姿態(tài)。雖然定位問(wèn)題在文獻(xiàn)中得到了廣泛的研究，但AR系統(tǒng)的“map”卻很少被討論。

在本文中，我們介紹了一種特殊場(chǎng)景的AR建圖，它由具有6個(gè)自由度姿態(tài)的RGB圖像組成，每個(gè)圖像有稠密深度圖和完整的點(diǎn)云圖。這里提出了一個(gè)有效的端到端的解決方案來(lái)生成和評(píng)估AR地圖，首先，為了有效地獲取數(shù)據(jù)，提出了一種背包掃描裝置，該裝置具有統(tǒng)一的校準(zhǔn)流程。其次，提出了一個(gè)AR建圖流程，它接收掃描設(shè)備的輸入，生成精確的AR地圖。最后，我們提出了一種利用高端激光掃描儀的高精度重建結(jié)果來(lái)評(píng)估AR地圖精度的方法。據(jù)我們所知，這是第一次提出一個(gè)端到端的解決方案，以高效和準(zhǔn)確地建立AR地圖的應(yīng)用。

圖1：兩個(gè)大場(chǎng)景的AR地圖：西城（第一排）和EFC購(gòu)物中心（第二排）。從左到右依次顯示捕獲的彩色圖像、對(duì)應(yīng)的深度圖和由點(diǎn)云圖重建的三維模型。

本文介紹了可用于任何AR系統(tǒng)的AR建圖方案，為確保AR地圖滿足AR應(yīng)用的要求，需要考慮以下問(wèn)題。

• 如何有效地獲取場(chǎng)景的視覺(jué)和深度信息，以便AR地圖能夠以低成本頻繁更新。

• 如何設(shè)計(jì)繪圖系統(tǒng)來(lái)處理原始數(shù)據(jù)并生成精確的AR地圖，局部區(qū)域的深度和幾何精度對(duì)于某些任務(wù)至關(guān)重要，例如AR系統(tǒng)中的遮擋檢測(cè)和真實(shí)感渲染。

• 如何評(píng)估AR地圖以確保其精度滿足AR應(yīng)用的要求。

本文提出了一個(gè)端到端的解決方案來(lái)生成和評(píng)估AR地圖。首先，我們提出了一種背包式的掃描裝置，裝有2個(gè)多束激光雷達(dá)、4個(gè)魚(yú)眼鏡頭的全景相機(jī)和一個(gè)慣性測(cè)量單元（IMU）。激光雷達(dá)是一種主動(dòng)傳感器，通過(guò)向目標(biāo)發(fā)射激光直接測(cè)量距離，與RGB相機(jī)相比，它們不受光照條件或環(huán)境紋理豐富性的影響，利用多光束激光雷達(dá)獲取密集深度，利用全景相機(jī)獲取彩色圖像，為了校準(zhǔn)具有多個(gè)型號(hào)傳感器的設(shè)備，通常需要所有傳感器之間有重疊的FOV時(shí)手動(dòng)放置校準(zhǔn)板，并且我們這里進(jìn)一步提出一個(gè)統(tǒng)一的外參校準(zhǔn)方法，只需要一次安裝和數(shù)據(jù)采集，隨后的校準(zhǔn)過(guò)程是完全自動(dòng)化的。

其次，我們提出了一個(gè)基于激光雷達(dá)的雷達(dá)地圖系統(tǒng)來(lái)構(gòu)建精確的點(diǎn)云地圖，傳統(tǒng)的激光雷達(dá)里程計(jì)和地圖系統(tǒng)側(cè)重于運(yùn)動(dòng)估計(jì)，建圖過(guò)程通常通過(guò)將點(diǎn)云轉(zhuǎn)換為全局幀來(lái)完成，為了確保有效且準(zhǔn)確的地圖繪制流程，我們首先在經(jīng)典的LOAM系統(tǒng)的基礎(chǔ)上引入了一個(gè)改進(jìn)的lidar里程計(jì)模塊，這些改進(jìn)包括增強(qiáng)的特征選擇模型和去除異常值的過(guò)濾策略。為了修正大規(guī)模場(chǎng)景中里程計(jì)的累積誤差，進(jìn)一步提出了一種基于子地圖的全局優(yōu)化模塊，該模塊利用回環(huán)檢測(cè)和相鄰子地圖之間的一致性約束對(duì)全局軌跡進(jìn)行優(yōu)化，該模塊在保持局部地圖一致性的同時(shí)，消除了漂移誤差，最后由穩(wěn)定的地圖融合模塊生成最終的點(diǎn)云地圖。通過(guò)使用足夠的觀測(cè)值強(qiáng)制地圖點(diǎn)，此模塊確保即使在高度動(dòng)態(tài)的環(huán)境中也能獲得干凈的地圖，一旦獲得優(yōu)化的全局軌跡和點(diǎn)云圖，就可以從lidar姿態(tài)中插值彩色圖像的相機(jī)姿態(tài)，并從重建的三維網(wǎng)格中繪制相應(yīng)的深度圖，得到的AR地圖。

最后，我們給出了一種基于高端激光掃描儀高精度點(diǎn)云重建的AR地圖精度評(píng)估方法，根據(jù)局部一致性評(píng)價(jià)了稠密深度圖和彩色圖像6自由度姿態(tài)的精度。實(shí)驗(yàn)表明，該系統(tǒng)能夠有效地生成精確的AR地圖。

A.硬件設(shè)計(jì)

背包掃描系統(tǒng)是為AR建圖而設(shè)計(jì)的，如圖3所示，它由兩個(gè)16束RoboSense激光雷達(dá)、一個(gè)MTi-3 AHRS IMU和一個(gè)帶有4個(gè)魚(yú)眼鏡頭的Tech360 Anywhere全景相機(jī)組成，所有傳感器都由時(shí)間服務(wù)器同步。兩個(gè)激光雷達(dá)掃描面之間的夾角約為25度。當(dāng)激光雷達(dá)連續(xù)旋轉(zhuǎn)時(shí)，它在0.1秒內(nèi)旋轉(zhuǎn)360度，產(chǎn)生75個(gè)數(shù)據(jù)包。每個(gè)包的時(shí)間戳也與時(shí)間服務(wù)器同步，時(shí)間服務(wù)器發(fā)送100hz的脈沖信號(hào)觸發(fā)IMU的測(cè)量。在掃描環(huán)境時(shí)，操作員攜帶背包系統(tǒng)和用于控制的觸摸板。當(dāng)需要拍攝彩色圖像時(shí)，操作員停止行走，按下平板上的“拍攝”按鈕，從全景相機(jī)的鏡頭中拍攝4張圖像。激光雷達(dá)的數(shù)據(jù)與IMU的測(cè)量數(shù)據(jù)進(jìn)行融合，生成點(diǎn)云圖和每次掃描的6自由度姿態(tài)。根據(jù)點(diǎn)云圖、lidar姿態(tài)以及l(fā)idar與相機(jī)鏡頭之間的外參，生成每幅彩色圖像的稠密深度圖。

圖3：我們的背包系統(tǒng)的硬件設(shè)計(jì)和組件（左）以及一個(gè)攜帶背包的操作員和一個(gè)用于數(shù)據(jù)采集的觸摸板（右）。

B .統(tǒng)一高效的多傳感器標(biāo)定

我們使用Furgale等人提出的方法來(lái)標(biāo)定全景相機(jī)和IMU的固有參數(shù)，然后，我們提出了一種有效的背包掃描系統(tǒng)的外部校準(zhǔn)方法。首先，如圖4所示，我們通過(guò)在墻上密集放置CCTag標(biāo)記，建立了一個(gè)標(biāo)定環(huán)境（在我們的例子中是一個(gè)4.8 m×3.4 m×3 m的房間）。對(duì)標(biāo)記的位置沒(méi)有嚴(yán)格要求，但相鄰標(biāo)記之間的距離一般小于20cm，然后，我們使用高精度激光掃描儀Leica BLK360重建標(biāo)定室的彩色密集點(diǎn)云。所有標(biāo)記位置都可以通過(guò)檢測(cè)房間渲染圖像中的CCtags或手動(dòng)標(biāo)記來(lái)確定，這樣，我們就可以對(duì)房間進(jìn)行稀疏重建，包括所有標(biāo)記的三維位置，注意，校準(zhǔn)環(huán)境只需設(shè)置一次，以標(biāo)定室為共同參考系R，估計(jì)每個(gè)lidar和相機(jī)鏡頭到參考系R的變換，從而得到不同傳感器之間的相對(duì)姿態(tài)。

圖4：（a）安裝在三腳架上的高精度旋轉(zhuǎn)激光掃描儀徠卡BLK 360(b） 用徠卡BLK360在一個(gè)點(diǎn)上捕捉到的彩色密集點(diǎn)云。地面上的空白區(qū)域是由三腳架的遮擋造成的。

A.系統(tǒng)概述

從背包掃描設(shè)備生成的原始數(shù)據(jù)包括激光雷達(dá)每次掃描的點(diǎn)云、IMU測(cè)量值和4個(gè)魚(yú)眼鏡頭的圖像，然后將原始數(shù)據(jù)輸入AR建圖系統(tǒng)以生成AR地圖，首先，激光雷達(dá)里程計(jì)系統(tǒng)為每次掃描數(shù)據(jù)輸出不傾斜的點(diǎn)云和6自由度姿態(tài)，為了修正里程計(jì)中積累的漂移誤差，激光雷達(dá)里程計(jì)的結(jié)果在全局優(yōu)化模塊中進(jìn)行優(yōu)化，該模塊旨在保證點(diǎn)云地圖的全局一致性和局部一致性。在此基礎(chǔ)上，采用基于離群點(diǎn)濾波的地圖融合策略，進(jìn)行穩(wěn)定的lidar地圖繪制。最后，利用lidar姿態(tài)插值彩色圖像的姿態(tài)，由點(diǎn)云圖繪制稠密深度圖。AR建圖系統(tǒng)的流程如圖2所示。

圖2：使用背包掃描系統(tǒng)和AR鑒于與系統(tǒng)生成AR地圖的端到端解決方案。

B .基于改進(jìn)特征的激光里程計(jì)系統(tǒng)

對(duì)于每一次掃描數(shù)據(jù)，邊緣和平面特征提取的基礎(chǔ)上，“曲率”分?jǐn)?shù)計(jì)算從相鄰點(diǎn)之間的距離，然后通過(guò)求解點(diǎn)對(duì)線或點(diǎn)對(duì)平面迭代最近點(diǎn)（ICP）問(wèn)題估計(jì)掃描點(diǎn)云幀到點(diǎn)云幀的運(yùn)動(dòng)，在線的構(gòu)建由特征組成的地圖，并將每次掃描進(jìn)一步配準(zhǔn)到特征地圖以進(jìn)行姿態(tài)優(yōu)化，利用IMU的測(cè)量數(shù)據(jù)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)，消除激光雷達(dá)運(yùn)動(dòng)引起的點(diǎn)云數(shù)據(jù)畸變。

圖8顯示了位姿圖和全局優(yōu)化之間的比較，全局優(yōu)化后的地圖更加一致。

C .全局優(yōu)化

在大尺度場(chǎng)景下，由激光雷達(dá)里程計(jì)生成的點(diǎn)云地圖通常存在累積漂移誤差，這會(huì)導(dǎo)致背包掃描兩次的循環(huán)點(diǎn)的地圖不一致，在保證地圖一致性的同時(shí)，采用了基于子系統(tǒng)的閉環(huán)和全局優(yōu)化策略來(lái)優(yōu)化軌跡，傳統(tǒng)的激光雷達(dá)里程計(jì)系統(tǒng)利用姿態(tài)圖來(lái)優(yōu)化激光雷達(dá)的軌跡，但是，這種方法只在循環(huán)點(diǎn)處強(qiáng)制位姿的一致性，而全局忽略貼圖一致性，為了解決這個(gè)問(wèn)題，我們采用了類似于稀疏曲面調(diào)整的方法，并在姿態(tài)和地圖點(diǎn)的約束下優(yōu)化最終軌跡。

圖9：這里展示了在一個(gè)繁忙的辦公室里構(gòu)建的點(diǎn)云地圖，人們經(jīng)常走動(dòng)。左側(cè)顯示簡(jiǎn)單拼接后所有點(diǎn)云的結(jié)果，右側(cè)顯示穩(wěn)定的建圖的結(jié)果。

D .穩(wěn)定地圖構(gòu)建

一旦完成了全局優(yōu)化，就可以通過(guò)使用所有掃描點(diǎn)云的位姿來(lái)拼接所有掃描點(diǎn)云來(lái)構(gòu)建完整的點(diǎn)云地圖。在原始LOAM系統(tǒng)中，僅由稀疏特征點(diǎn)組成的地圖被在線維護(hù)，將特征圖劃分為大小為dc×dc×dc（實(shí)現(xiàn)中dc=50m）的立方體，將掃描點(diǎn)添加到特征圖中后，通過(guò)體素網(wǎng)格過(guò)濾器對(duì)相應(yīng)立方體中的點(diǎn)云進(jìn)行下采樣。

E .圖像位姿插值與深度圖繪制

到目前為止，我們已經(jīng)為每次掃描優(yōu)化了位姿和一個(gè)完整的點(diǎn)云地圖，然后根據(jù)時(shí)間戳對(duì)彩色圖像的相機(jī)姿態(tài)進(jìn)行插值, 使用泊松曲面重建從點(diǎn)云地圖生成3D模型，并用于渲染稠密的深度地圖。

A.點(diǎn)云地圖精度評(píng)估

為了評(píng)估我們背包系統(tǒng)的繪圖精度，使用高精度激光掃描儀Leica BLK360捕捉不同環(huán)境下的點(diǎn)云地圖作為地面實(shí)況，將背包的地圖結(jié)果與3個(gè)不同場(chǎng)景下的地面真值地圖進(jìn)行了比較：（a）45m×23m的辦公樓層(b） 100m×50m校園樓地面(c）100m×60m室外空地。

圖10顯示了徠卡BLK360的點(diǎn)云地圖和AR地圖，通過(guò)手動(dòng)選擇相應(yīng)的點(diǎn)并進(jìn)行ICP配準(zhǔn)來(lái)對(duì)齊兩幅地圖

表一顯示，室內(nèi)環(huán)境的測(cè)繪精度低于0.05m，室外環(huán)境的測(cè)繪精度低于0.10m。

表二顯示了地圖捕獲的時(shí)間，與高成本的工業(yè)激光掃描儀相比，背包掃描系統(tǒng)產(chǎn)生的地圖具有相當(dāng)?shù)木群透叩男?/strong>

B .位姿和深度圖精度評(píng)估

這里進(jìn)一步評(píng)估了在西城和西湖兩個(gè)大型購(gòu)物中心拍攝的AR地圖上6自由度姿態(tài)和深度圖的精度。每個(gè)商場(chǎng)有5層，每層面積約2000平方米。

圖11：（a）來(lái)自徠卡BLK360的高精度地圖，（b）來(lái)自AR建圖的結(jié)果，（c）和（d）顯示了AR建圖系統(tǒng)和LIO-SAM的地圖質(zhì)量之間的比較。

C .AR地圖在定位中的應(yīng)用

我們進(jìn)一步驗(yàn)證了AR-Map在實(shí)際AR應(yīng)用中的有效性，用iphone11手機(jī)采集了一組分辨率為3024×4032像素的圖像，對(duì)于每個(gè)圖像，首先使用deep image retrieval在AR-Map中搜索場(chǎng)景圖像，然后手動(dòng)標(biāo)注圖像與場(chǎng)景圖像之間的特征對(duì)應(yīng)關(guān)系，最后，在已知深度信息的情況下，通過(guò)求解3D-2D PnP問(wèn)題，可以很容易地計(jì)算出手機(jī)圖像的6自由度姿態(tài)。如圖所示，示例查詢和檢索的場(chǎng)景圖像與它們?cè)诘貓D中的姿勢(shì)一起呈現(xiàn)，如果PnP得到的內(nèi)聯(lián)線數(shù)大于8，則可以將這些圖像成功地定位。110幅查詢圖像中有97幅（88.2%）可以定位，表明AR地圖能夠支持大場(chǎng)景下的定位任務(wù)。

圖14：西城商城AR地圖中（a）場(chǎng)景圖像和（b）手機(jī)采集圖像的示例和相機(jī)姿態(tài)。

表三：數(shù)據(jù)集WestCity和WestLake中e1和e2的定量評(píng)估。在每個(gè)單元中，我們?cè)诘谝恍酗@示歐氏像素誤差，在第二行顯示歸一化角度誤差。

在本文中，我們提出一個(gè)端到端架構(gòu)來(lái)建立和評(píng)估AR地圖，設(shè)計(jì)了一個(gè)背包掃描系統(tǒng)，采用統(tǒng)一的校準(zhǔn)方法進(jìn)行有效的數(shù)據(jù)采集，并通過(guò)AR建圖系統(tǒng)對(duì)原始數(shù)據(jù)進(jìn)行進(jìn)一步處理，生成精確的AR地圖，特征濾波策略和基于子地圖的全局優(yōu)化模塊保證了軌跡估計(jì)的準(zhǔn)確性，穩(wěn)定的地圖模塊能夠融合激光雷達(dá)掃描數(shù)據(jù)，即使在高度動(dòng)態(tài)的環(huán)境也能產(chǎn)生高質(zhì)量的點(diǎn)云地圖，最后，我們提出了對(duì)AR地圖進(jìn)行系統(tǒng)評(píng)價(jià)的方法。