谷歌（Google）人工智能（AI）的負責人Jeff Dean在2020年國際固態(tài)電路會議（ISSCC）等場合介紹了谷歌基于機器學習開發(fā)的用于芯片設計的布局布線模型，并通過在其自研處理器上的應用，證實了效率和布線結果優(yōu)于人類。
美國新思科技（Synopsys）公司也于3月11日推出了DSO.ai?（設計空間優(yōu)化AI），稱其為業(yè)界首個用于芯片設計的自主人工智能應用程序（詳見今天的第二篇）。
摩爾定律在提升晶體管密度和降低成本方面的進展正在放緩，而芯片的設計和制造成本都在快速上升。目前，芯片設計領域最富前景的前沿研究之一是使用機器學習技術來實際幫助完成設計過程中的某些任務。谷歌是世界上中央處理器（CPU）和圖像處理器（GPU）的大型消費者之一，也是張量處理器（TPU）的設計者，為從邊緣計算到數(shù)據(jù)中心的多種應用提供機器學習的推理和訓練。谷歌對計算引擎的興趣超越了以往。谷歌采用混合了CPU和GPU的混合架構（未來也許還有其他加速器）來加強學習的負載。因此Dean和同仁在谷歌進行的研究也被帶到了ASIC設計領域。出于偶然，谷歌在運行跨大量不同類型計算引擎的機器學習時開展一部分工作，在研究可在芯片上自動布局布線模型方面給予了支持。
發(fā)展機緣
谷歌在2018年5月展示了TPUv3系統(tǒng)的Pod，它可將1024個張量處理器集合在一起，使用谷歌自由和非常機靈的bfloat 16數(shù)據(jù)格式，能夠提供106 petaflops的16位半精度乘法性能（帶有32位累加）。這些TPUv3芯片都是使用32×32環(huán)形網(wǎng)格的交叉耦合，因此它們可以共享數(shù)據(jù)，并且每個TPUv3核都有自己的HBM2存儲器組。這個TPUv3 Pod是一個巨大的計算聚合，可以進行機器學習訓練或推理，但是不一定像谷歌需要構建的那么大。
Dean解釋道：“發(fā)展趨勢之一是模型正在變得越來越大。因此，整個模型不一定必須適配單個芯片。如果擁有大型模型，則模型的并行性（將模型劃分在多個芯片計算）就變得非常重要，而通過為它提供大量計算器件來獲得良好性能并非易事，而且如何有效做到這一點也并不明顯?！迸c其他超級巨頭一樣，谷歌傾向于根據(jù)其他技術來構建自己的框架、協(xié)議和數(shù)據(jù)存儲。下圖表示發(fā)展趨勢是多器件訓練和更大的緩存空間，模型已經(jīng)大到不能放在單個加速器器件上。
器件放置表示在合適的時間在合適的器件上放置合適的神經(jīng)網(wǎng)絡（或其所包含代碼的一部分），以便在整個應用中獲得最大吞吐量。由于神經(jīng)網(wǎng)絡模型變得比單個CPU、GPU或TPU的存儲空間和計算能力更大，器件放置變得尤為重要。而且這個問題日益嚴重，超過了框架和硬件發(fā)展的步伐。
參數(shù)的數(shù)量不斷增長，并行使用的器件數(shù)量也在不斷增長。實際上，使128個GPU或128個TPUv3處理器協(xié)同工作就是一個很大的成就。隨著越來越多的器件以某種方式協(xié)同來處理這些模型，因為模型的集合是運行在一組CPU和GPU上，谷歌一直在嘗試使用強化學習（RL）（機器學習的一個特殊子集）來找出在給定的時間運行神經(jīng)網(wǎng)絡模型的最佳地方。在這種情況下，設置初始策略來調度神經(jīng)網(wǎng)絡模型以進行處理，然后將結果反饋到模型中以進行進一步調整，從而使這些模型的運行越來越高效。
在2017年，Google訓練了一個強化學習模型來完成這項工作。強化學習模型將工作放在兩個CPU和四個GPU上，經(jīng)過測試，強化模型所用時間與人類專家手工放置神經(jīng)網(wǎng)絡的時間相比減少19.3%。在計算引擎上基于強化學習的神經(jīng)網(wǎng)絡方式工作“做了某種非直覺的事情”來獲得該結果，但這似乎是使用機器學習達到跟人類做同樣工作一樣好或更好的例子。問題在于，不需要花費太多的強化學習計算能力就能將工作放在器件上來運行經(jīng)過訓練的神經(jīng)網(wǎng)絡。在2018年，谷歌研究了如何將計算圖擴展到超過8萬個操作（節(jié)點）。2019年，谷歌創(chuàng)建了通用器件放置方案，用于具有超過5萬個操作（節(jié)點）的數(shù)據(jù)流圖。
Dean說：“然后，我們開始考慮使用它在ASIC（專用集成電路）芯片設計中進行自主布局和布線，而不是使用它來將軟件計算放置在不同的計算器件上，因為如果換個角度看問題，它們看起來很相似。強化學習對于具有清晰規(guī)則（如國際象棋和圍棋）的棘手問題確實非常有效，并且從本質上講，我們開始自問：能否獲得強化學習模型來成功實現(xiàn)ASIC芯片布局布線？”
面臨挑戰(zhàn)
據(jù)Dean表示上述工作面臨著兩個挑戰(zhàn)。一是對象多。國際象棋和圍棋都有單一的目標，即贏得比賽而不是輸?shù)舯荣悾ㄊ峭幻队矌诺膬擅妫?。而將IP核電路放置在ASIC芯片上并在它們之間進行布線，不會是簡單的贏或輸，需要關注面積、時序、阻塞、設計規(guī)則等更多對象。二是數(shù)量大。IP核電路可能的放置狀態(tài)數(shù)量巨大。國際象棋的狀態(tài)數(shù)是10的123次方，圍棋的狀態(tài)數(shù)是10的360次方，電路布局的狀態(tài)數(shù)是10的9000次方。如下圖所示。這些都需要在EDA工具中需要花費大量時間才能完成。
主要成果
Dean解釋說，“因此，我們有了一個體系結構，從本質上講，它匯聚構成芯片設計的所有東西，然后嘗試放到晶圓上?！?/span>
（1）低功率機器學習加速器芯片上的驗證
Dean展示了在一個低功率機器學習加速器芯片上放置IP核電路的一些結果（其中某些區(qū)域有意進行了模糊以避免泄露細節(jié)）?！拔覀冇幸粋€由專家組成的團隊來同步放置這個IP核電路。我們對這些功能進行評估的成本非常低，在兩秒鐘而不是幾小時內，這非常重要，因為強化學習是需要進行反復多次的學習。因此，我們有一個基于機器學習的放置系統(tǒng)，可以看到，它稍微擴展了邏輯，而不是將其分布在一個非常矩形的區(qū)域中，這使它可以同時改善擁塞和線長。到目前為止，我們在所有不同的IP核電路上都獲得了可比擬或超越人類的結果?！毕聢D為強化學習網(wǎng)絡和人類分別在低功耗機器學習加速器上放置IP核電路的結果。表格展示了手動布局布線和通過機器學習自主布局布線的區(qū)別。
（2）在TPU芯片上的驗證
對于在TPU芯片上的放置IP核電路，人工和強化學習網(wǎng)絡的對比如下圖。白色模糊區(qū)域是存儲器，綠色模糊區(qū)域是邏輯單元族。機器學習找到了更平滑圓潤的存儲器放置模式來減少連線的長度。而且機器學習只用了24個小時，就找到更優(yōu)于設計人員花費6-8周才完成的布局布線。
（3）在TPU和Ariane RISC-V處理器上的驗證
更進一步，谷歌希望知道是否可訓練出通用模型，能夠在以前從未見過的新設計布局中保持快速有效，這正是設計新芯片的關鍵。為此，Google選取TPU架構中的四個不同IP核電路和Ariane RISC-V處理器架構，對模型進行了測試。下兩圖對比了使用商業(yè)工具的人類，和模型在各種調整后的結果對比。
Dean說，“在第一個圖中可以看到，設計經(jīng)驗實際上可以顯著改善結果，因此從本質上講，可以在十二個小時內獲得最深的藍色條。在第二圖中顯示了連線成本，可以從中看到如果從頭開始訓練，實際上它花了一點時間才能使系統(tǒng)產(chǎn)生一些突破性的洞察力，但隨之能夠顯著降低布線成本，而經(jīng)過預先訓練的算法可以通過查看其他非常迅速達到這一水平的設計和人員的做法獲得通用直覺。”
顯著優(yōu)勢
進入良性循環(huán)。Dean說，我們內部已經(jīng)在幾個芯片設計上使用了人工智能技術。使用人工智能來設計芯片代表了一個良性循環(huán)，能設計出更好的人工智能芯片，這些改進的芯片又能夠更好地發(fā)揮人工智能算法的能力，以此往復。
快速實現(xiàn)針對多重情況的設計。Dean說，就像我們進行模擬仿真以更好地進行天氣預報一樣，這種人工智能實現(xiàn)的IP核電路在芯片上的布局和布線可以用來快速生成許多帶有不同權衡考慮的布局，甚至設計出人類沒有想到過的解決方案。而且，如果需要添加某些特性，則由人工智能主導的芯片設計可以快速重新布局，而無需花費數(shù)月的時間，多樣化的設計更能滿足未來多樣化的需求。
極大地節(jié)約成本。最重要的是，這種自動化設計可以從根本上降低設計新芯片的成本。芯片設計成本正呈指數(shù)級增長，如采用16納米工藝的先進芯片設計平均成本為1.063億美元，到10納米高達1.744億美元，到7納米高達2.978億美元，預計5納米的成本將達到5.422億美元。其中近一半的成本已經(jīng)并將繼續(xù)用于軟件。因此，我們知道如何減少這些成本，機器學習可以提供幫助。
下步發(fā)展
尋求模型工具的通用化。目前，谷歌正在考慮和驗證該機器學習模型的泛化能力和通用化，驗證能否從一類芯片設計遷移到另一類芯片設計中。
在芯片設計的更多環(huán)節(jié)采用人工智能。包括在芯片設計驗證環(huán)節(jié)中，使用機器學習來產(chǎn)生能夠測試全部狀態(tài)空間的測試用例，或用機器學習改進高階綜合。進而可從高級描述中獲得更優(yōu)化設計。
拭目以待
谷歌不確定芯片設計軟件制造商是否會嵌入人工智能，并促進芯片設計真正實現(xiàn)爆炸式增長，并將其中的過程量化。谷歌將拭目以待，并愿意貢獻Google類似研究成果來提供幫助。
資料來源
https://www.nextplatform.com/2020/02/20/google-teaches-ai-to-play-the-game-of-chip-design/
https://www.zdnet.com/article/google-experiments-with-ai-to-design-its-in-house-computer-chips/
https://www.eetimes.com/all-processing-bends-toward-ai/#
聯(lián)系客服
