視頻介紹：Pixel 4 中基于 Soli 雷達的感知和交互
Pixel 4 和 Pixel 4 XL 已針對易用性進行了優(yōu)化，有助于實現(xiàn)這一目標(biāo)的關(guān)鍵功能是Motion Sense，它使用戶能夠無需觸摸設(shè)備即可以多種方式與他們的 Pixel 交互。例如，借助 Motion Sense，您可以使用特定手勢來更改音樂曲目或立即將來電靜音。Motion Sense 還會檢測您何時靠近手機以及何時伸手去拿手機，讓您的 Pixel 能夠通過預(yù)測您的動作（例如啟動相機以提供無縫面部解鎖）來提供更多幫助體驗，在您伸手關(guān)閉鬧鐘時禮貌地降低響鈴鬧鐘的音量，或者在您不再靠近設(shè)備時關(guān)閉顯示屏以節(jié)省電量。
Motion Sense 背后的技術(shù)是Soli，這是消費類智能手機中第一個集成的短距離雷達傳感器，可促進與手機的近距離交互，無需接觸。下面，我們將討論 Soli 的核心雷達傳感原理、用于從雷達數(shù)據(jù)中識別人類活動的信號處理和機器學(xué)習(xí) (ML) 算法的設(shè)計，以及我們?nèi)绾谓鉀Q一些集成挑戰(zhàn)，以準(zhǔn)備將 Soli 用于消費設(shè)備。
雷達的基本功能是根據(jù)遠(yuǎn)程物體與無線電波的相互作用來檢測和測量遠(yuǎn)程物體的特性。一個經(jīng)典的雷達系統(tǒng)包括一個發(fā)射無線電波的發(fā)射器，然后無線電波被其路徑內(nèi)的物體散射或重定向，一部分能量反射回來并被雷達接收器攔截?；诮邮盏降牟ㄐ?，雷達系統(tǒng)可以檢測物體的存在并估計這些物體的某些屬性，例如距離和大小。近一個世紀(jì)以來，
雷達作為一種探測和測距技術(shù)一直在積極發(fā)展. 傳統(tǒng)的雷達方法設(shè)計用于檢測大型、剛性、遠(yuǎn)處的物體，例如飛機和汽車；因此，它們?nèi)狈υ谙M類手持設(shè)備要求范圍內(nèi)感測復(fù)雜運動的靈敏度和分辨率。因此，為了實現(xiàn) Motion Sense，Soli 團隊開發(fā)了一種新的小型雷達系統(tǒng)、新穎的傳感范式和算法，專門用于對人類交互進行細(xì)粒度感知。
經(jīng)典雷達設(shè)計依賴于相對于目標(biāo)尺寸的精細(xì)空間分辨率，以解析不同的物體并區(qū)分其空間結(jié)構(gòu)。這種空間分辨率通常需要較寬的傳輸帶寬、較窄的天線波束寬度。和大型天線陣列。另一方面，Soli 采用基于運動而非空間結(jié)構(gòu)的完全不同的傳感范式。由于這種新穎的范例，我們能夠在 5 毫米 x 6.5 毫米 x 0.873 毫米的芯片封裝上安裝 Soli 用于 Pixel 4 的整個天線陣列，從而允許將雷達集成到手機頂部。例如，與光學(xué)成像傳感器相比，我們開發(fā)的算法特別不需要形成明確的目標(biāo)空間結(jié)構(gòu)圖像。因此，不會生成或用于 Motion Sense 存在或手勢檢測的人的身體或面部的可區(qū)分圖像。
Soli 依靠處理接收信號的時間變化來檢測和解決細(xì)微的運動。Soli 雷達發(fā)射 60 GHz頻率調(diào)制信號并接收附近物體或人的反射疊加。從一次傳輸?shù)较乱淮蝹鬏?，目?biāo)位置的亞毫米級位移會引起接收信號的可區(qū)分時間偏移。在多次傳輸?shù)拇翱谏希@些偏移表現(xiàn)為與物體速度成正比的多普勒頻率。通過解析不同的多普勒頻率，Soli 信號處理管道可以區(qū)分具有不同運動模式的物體。
下面的動畫演示了不同的動作如何在處理后的 Soli 信號中表現(xiàn)出不同的運動特征。每個圖像的垂直軸代表距離傳感器的范圍或徑向距離，從上到下增加。橫軸代表朝向或遠(yuǎn)離傳感器的速度，中心為零，左側(cè)為接近目標(biāo)的負(fù)速度，右側(cè)為后退目標(biāo)對應(yīng)的正速度。雷達接收到的能量被映射到這些距離-速度維度中，并由每個像素的強度表示。因此，與弱反射目標(biāo)相比，強反射目標(biāo)相對于周圍的本底噪聲往往更亮。這些距離-速度映射中的能量分布和軌跡顯示出一個人走路時的明顯差異，
在左圖中，當(dāng)人靠近設(shè)備時，我們看到多個身體部位的反射出現(xiàn)在速度軸的負(fù)側(cè)，然后在人靠近設(shè)備時以零速度會聚在圖像頂部。在描繪范圍的中間圖像中，一只手從距離傳感器 20 厘米的靜止位置開始，然后以負(fù)速度朝設(shè)備加速，最后在到達設(shè)備時減速停止。對應(yīng)于手的反射從圖像的中間移動到頂部，對應(yīng)于在手勢過程中手離傳感器的距離減小。最后，第三張圖片顯示了一只手在設(shè)備上滑動，以負(fù)速度向速度軸左半部分的傳感器移動，
每個可分辨反射的 3D 位置也可以通過處理在 Soli 的三個接收器中的每一個接收到的信號來估計；除了距離和速度之外，還可以使用該位置信息來區(qū)分目標(biāo)。
我們?yōu)?Soli 設(shè)計的信號處理管道包括自定義濾波器和相干積分步驟的組合，可提高信噪比、減弱不需要的干擾并將人的反射與噪聲和雜波區(qū)分開來。這些信號處理功能使 Soli 能夠在消費類智能手機的限制范圍內(nèi)以低功耗運行。
在使用 Soli 的信號處理管道對原始雷達信號進行濾波和增強后，將得到的信號轉(zhuǎn)換輸入 Soli 的 ML 模型進行手勢分類。這些模型已經(jīng)過訓(xùn)練，可以以低延遲準(zhǔn)確檢測和識別 Motion Sense 手勢。
對任何運動傳感技術(shù)常見的空中手勢進行穩(wěn)健分類有兩個主要的研究挑戰(zhàn)。首先，每個用戶都是獨一無二的，甚至?xí)远喾N方式執(zhí)行簡單的動作，例如滑動。第二個是，在一天中，傳感器范圍內(nèi)可能會有許多看起來與目標(biāo)手勢相似的無關(guān)運動。此外，當(dāng)手機移動時，從手機中的運動傳感器的角度來看，整個世界看起來都在移動。
解決這些挑戰(zhàn)需要設(shè)計定制的 ML 算法，該算法針對雷達信號的空中手勢的低延遲檢測進行了優(yōu)化。Soli 的 ML 模型由神經(jīng)網(wǎng)絡(luò)組成，這些神經(jīng)網(wǎng)絡(luò)使用來自數(shù)千名 Google 志愿者記錄的數(shù)百萬個手勢進行訓(xùn)練。這些雷達錄音與其他谷歌志愿者數(shù)百小時的背景雷達錄音混合在一起，其中包含在設(shè)備附近進行的一般動作。Soli 的 ML 模型使用TensorFlow進行訓(xùn)練并進行了優(yōu)化，可以直接在 Pixel 的低功耗數(shù)字信號處理器(DSP) 上運行。這使我們能夠以低功耗運行模型，即使在主應(yīng)用處理器斷電時也是如此。
Soli 之所以能夠集成到 Pixel 智能手機中，是因為端到端的雷達系統(tǒng)（包括硬件、軟件和算法）經(jīng)過精心設(shè)計，可以在消費類設(shè)備的尺寸和功率限制內(nèi)實現(xiàn)非接觸式交互。Soli 的微型硬件使完整的雷達系統(tǒng)能夠適應(yīng) Pixel 上邊框的有限空間，這是團隊的一項重大成就。事實上，2014 年的第一個 Soli 原型是臺式計算機的大小。我們將硬件創(chuàng)新與前面描述的新穎時間傳感范例相結(jié)合，以將整個雷達系統(tǒng)縮小到單個 5.0 mm x 6.5 mm RFIC，包括包裝上的天線。Soli 團隊還推出了多項創(chuàng)新的硬件電源管理方案并優(yōu)化了 Soli 的計算周期，使 Motion Sense 能夠適應(yīng)智能手機的功耗預(yù)算。
為了集成到 Pixel 中，雷達系統(tǒng)團隊與產(chǎn)品設(shè)計工程師密切合作，以保持 Soli 信號質(zhì)量。手機內(nèi)的芯片放置和芯片上方的 z 層材料經(jīng)過優(yōu)化，以最大限度地提高通過玻璃的信號傳輸，并最大限度地減少來自周圍組件的反射和遮擋。該團隊還發(fā)明了自定義信號處理技術(shù)，以實現(xiàn)與周圍電話組件的共存。例如，開發(fā)了一種新型濾波器來減少音頻振動對雷達信號的影響，從而在播放音樂時實現(xiàn)手勢檢測。此類算法創(chuàng)新使 Motion Sense 功能能夠跨越各種常見用戶場景。
Soli 成功集成到 Pixel 4 和 Pixel 4 XL 設(shè)備中，首次證明了基于雷達的機器感知在日常移動消費設(shè)備中的可行性。Pixel 設(shè)備中的 Motion Sense 顯示了 Soli 為顯式和隱式交互帶來無縫上下文感知和手勢識別的潛力。我們很高興繼續(xù)研究和開發(fā) Soli，以實現(xiàn)新的基于雷達的傳感和感知能力。
聯(lián)系客服
