看點：曠視開源“天元”深度學習框架！五大架構+四大優(yōu)勢如何助力AI落地？中國AI開源陣營再添一軍！3月25日，曠視宣布正式開源工業(yè)級深度學習框架“天元（MegEngine）”，成為國內第一家開源AI框架的AI企業(yè)。作為曠視AI生產力平臺Brain++的核心組件之一，天元擁有訓練推理一體化、動靜合一、兼容并包和靈活高效四個特點，能幫助開發(fā)者用戶進行靈活、高效的大規(guī)模深度學習模型訓練和部署。從“AI”這一概念誕生至今，在這片浩瀚的AI海洋中，算力、算法和數據已經為這片海域貢獻了許多珍貴的技術資源，而“開源”作為其中一個經久不衰的話題，為AI乃至計算機行業(yè)構建了一個開放共進的生態(tài)環(huán)境，進一步加速AI產業(yè)的落地和行業(yè)轉型。而天元深度學習框架的誕生，不僅為曠視AI業(yè)務的開拓和成熟提供強有力的底層技術支持，其本身的開源，在豐富國內AI開源生態(tài)的同時，也為近年來全國火熱的新基建中AI領域的發(fā)展，提供了重要的創(chuàng)新力和生產動力。那么，“天元”深度學習框架究竟是什么？它的背后隱藏了哪些曠視的AI布局野心？在谷歌TensorFlow和Facebook PyTorch大肆收割開發(fā)者的AI時代下，“天元”深度學習框架的開源，之于曠視，或是之于中國的AI行業(yè)生態(tài)，到底意味著什么？授人以漁，智能化時代曠視的開源初心
從授人以魚到授人以漁，天元深度學習框架的開源，不僅僅是曠視一次面向AI行業(yè)和開源生態(tài)的技術釋放。從本質上看，它的開源還是曠視在產業(yè)智能時代頭部玩家搶位戰(zhàn)的一次入局。對曠視這么一家以AI為本業(yè)的公司來說，在當下迅猛發(fā)展的AI行業(yè)中，選擇將自己的核心競爭力開源，無疑需要巨大的勇氣和對市場時機的把握。天元的開源，在直面全行業(yè)開發(fā)者實踐和檢驗的同時，也將激發(fā)更多開發(fā)者的創(chuàng)造力，為天元自身的迭代和創(chuàng)新帶來了無限可能性。而在這背后，其實也隱藏了曠視對自身技術實力的強大自信。若我們將眼光放在整個行業(yè)來看，曠視天元深度學習框架的開源，亦為各個行業(yè)的AI化轉型，以及AI行業(yè)的加速落地引擎，增添了潤滑劑。一方面，天元通過簡單高效的AI性能，為追求AI轉型的產業(yè)提供了一種新的嘗試和選擇，進一步解放傳統(tǒng)產業(yè)的生產力；另一方面，天元也將成為一個新契機，將上游應用、算法、場景，以及下游的操作系統(tǒng)和芯片等更好地結合起來，開拓一個AI生態(tài)和產業(yè)鏈緊密結合的新局面。與此同時，天元對中國高新技術產業(yè)而言，亦是中國在全球科技競賽舞臺上的一次實力亮相。當下，我國新基建如火如荼地開展，5G、AI、工業(yè)互聯(lián)網和大數據中心等技術的構建和發(fā)展，已經成為國家大力發(fā)展智能產業(yè)的重要科技因素。而曠視天元的開源，為國家新基建的在線化、數字化和智能化發(fā)展和升級，提供了不可或缺的創(chuàng)新力和生產力。更重要的是，它作為中國計算機發(fā)展階段的新興代表，同時也是中國AI企業(yè)中唯一一個開源的深度學習框架，它的面世不僅代表著中國AI企業(yè)的科研實力和包容開發(fā)的態(tài)度，亦彰顯著中國AI產業(yè)在當下全球科技競賽的復雜時代下，與巨頭抗衡的底氣與決心。“我們開源的初心，是希望開源后有更多開發(fā)者貢獻更閃光的想法和創(chuàng)意，一起參與天元的建設和發(fā)展。”曠視首席科學家、曠視研究院院長孫劍談到，曠視希望通過開源，進一步解決目前行業(yè)發(fā)展和國家建設中尚未解決的技術難題，為國內的AI開源生態(tài)提供創(chuàng)新動力。開源為何重要？
從Linux操作系統(tǒng)的開源，到AI領域谷歌TensorFlow的入局，“開源”一直是風云變幻的計算機界發(fā)展史中，經久不衰的一個話題。什么是“開源（Open Source）”？簡單地說，開源全稱為開放源代碼，程序員和普通終端用戶能夠利用源代碼在其基礎上進行修改和學習。如今，包括Linux、Android、NetBSD和Symbian在內的操作系統(tǒng)，以及谷歌TensorFlow、Facebook PyTorch等AI框架，都在漫長的計算機歷史中走向了開源，為各個行業(yè)的創(chuàng)新和發(fā)展增添了不可或缺的重要驅動力。例如，Android操作系統(tǒng)的開源，直接催生了一個獨立于蘋果iOS之外龐大的智能手機生態(tài)，包括三星、華為、小米等手機均基于Android進行軟件開發(fā)。實際上，除了操作系統(tǒng)外，AI框架的開源亦是近年來業(yè)界火熱的開源趨勢之一。如何理解AI開源？在AI最為本質的算法、算力和數據三大元素中，如果把算法比作一道菜，那么框架就像是一個中央廚房，能夠規(guī)?；厣a各種各樣的菜式。在開源之前，“大廚們”需要獨自全手工地進行洗菜（洗數據）、配菜（選模型）、炒菜（算法訓練）、調味（調參數）和裝盤（部署）等操作，整個過程既冗長又費力。而開源，就像是將食材和菜譜全都準備妥善，“大廚們”不用再重復進行造鍋、生火和洗菜等步驟，直接基于前人的經驗開始炒菜就夠了。與此同時，“大廚們”還能在這一開放式廚房中，對前人的經驗進行學習、交流和創(chuàng)新，一同逐漸完善廚房的功能，提高生產效率。如今的AI開源領域，則有以谷歌TensorFlow和Facebook PyTorch為首的深度學習框架，受到廣大開發(fā)者們的歡迎。“目前看來，開源已經成為軟件時代非常關鍵的一條技術路線。”曠視副總裁謝憶楠談到，谷歌、微軟和亞馬遜等國外科技巨頭早已在AI領域推行開源，并通過AI開源工具與平臺打通產業(yè)鏈，形成開源生態(tài)。
在此背景下，曠視選擇開源AI框架，不僅是對其解決算法無限性這一長期戰(zhàn)略的探索，同時曠視作為目前國內開源企業(yè)中唯一以AI為主業(yè)的公司，也期望能夠通過開源讓更多的合作伙伴實現(xiàn)AI+轉型，進一步推動AI技術的加速落地。六年打磨，天元深度學習框架的前世今生
其實早在2014年，曠視就開始著手“天元”深度學習框架的研發(fā)，當時它的名字叫做MegEngine。為了讓MegEngine早日跟上公司業(yè)務的發(fā)展進度，研究人員不斷加速優(yōu)化和研發(fā)，成功在2015年年中實現(xiàn)了MegEngine與公司內部所有業(yè)務的接軌。當時，曠視所有業(yè)務線上的模型，都已全部更換成MegEngine訓練出來的版本。2015年11月，谷歌TensorFlow的正式開源，對當時已逐漸走入穩(wěn)定發(fā)展期的MegEngine帶來了巨大沖擊，幾乎打亂了曠視自研框架的開發(fā)節(jié)奏。面對國外科技巨頭的壓力，自研框架的路子是堅持還是放棄，成為當時曠視內部一場激烈持久的討論。終于，在經過一次大規(guī)模的性能評測后，曠視的研究人員發(fā)現(xiàn)，當時剛開源的TensorFlow性能并不理想，比曠視的自研框架還要慢上10倍。正是這一發(fā)現(xiàn)，讓曠視更加堅定不移地踏上自研框架的道路，并一路狂飆突進，不斷克服研發(fā)道路上的阻礙，相繼研發(fā)了深度學習云計算平臺MegCompute和數據管理平臺MegData，與深度學習框架共同構成了AI生產力平臺Brain++。因此，Brain++是一個集算法、算力和數據為一體的AI底層平臺，擁有數據處理、清洗、管理，以及大規(guī)模分布式訓練和計算等能力，幫助曠視開發(fā)了大量部署于云端、移動端、邊緣端等全計算平臺的先進深度神經網絡。值得一提的是，在Brain++的數據、算法和算力三大核心架構中，最為核心開源了的深度學習框架天元MegEngine。隨著AI產業(yè)發(fā)展的浪潮越來越洶涌，為了進一步加速AI技術落地，給更多開發(fā)者和企業(yè)用戶提供開發(fā)選擇，曠視從2019年起決定開源Brain++最核心的深度學習框架MegEngine，并為它了一個全新的名字——天元。
“天元”意味著圍棋中棋盤的正中心，也代表著古代數學概念中所有復雜方程式的基礎，還是古代天文學中指代萬物本源和開始的北極星。“天元”這一名字的寓意背后，既表達了曠視希望MegEngine成為AI行業(yè)發(fā)展壯大的基石和重要組成部分，也透露出它之于曠視技術戰(zhàn)略布局的最核心地位，是其AI宏圖中最為關鍵和重要的底層基礎設施。在準備開源的一年時間里，曠視對MegEngine的整個框架進行了脫胎換骨般的基礎性升級和改動，研究人員對框架的所有代碼進行了梳理和重組，并引入了動靜合一等新特性，同時還進一步打磨對外接口，使其更符合廣大開發(fā)者們的使用習慣。直至昨日，前后歷時6年產業(yè)實踐和工業(yè)驗證的天元MegEngine，終于開源面世。同時，曠視云服務業(yè)務資深副總裁趙立威在發(fā)布會上表示，曠視將面向高校師生、企業(yè)開發(fā)者逐步開放Brain++的核心能力，為企業(yè)用戶提供AI生產全流程服務。實際上，曠視的開源定位與大多數開源玩家的定位不太一樣，最顯著的差異在于曠視是目前所有AI開源公司中，唯一一家以AI為主業(yè)的公司。“天元是為了工業(yè)級、研究院規(guī)模的研發(fā)機構而開發(fā)的算法研發(fā)基礎組件?！睍缫曆芯吭焊呒壖夹g總監(jiān)田忠博談到，天元所具備的訓練推理一體化等核心特點，都是為了解決開發(fā)者現(xiàn)實研發(fā)過程中的痛點而存在。至此，曠視天元MegEngine的AI開源宏圖正朝著未來緩緩鋪開。五大架構+四大技術優(yōu)勢助力多產業(yè)AI化發(fā)展
歷時6六年自主研發(fā)和打磨的天元深度學習框架到底是什么？從架構上看，天元具體分為計算接口、圖表示、優(yōu)化與編譯、運行時管理和計算內核五層。若說谷歌TensorFlow采用利于部署的靜態(tài)圖更適用于工業(yè)界，而Facebook PyTorch采用靈活且方便調試的動態(tài)圖更適合學術科研。那么曠視的天元則在兼具了雙方特性的過程中，找到了一個的平衡點。
“天元是一個訓練和推理在同一個框架、同一個體系內完整支持的設計?！碧镏也┱劦?，天元從實際問題出發(fā)，提供了許多深度學習和AI落地問題的解決方案。基于這些創(chuàng)新性的框架設計，天元深度學習框架擁有推理訓練一體化、動靜合一、兼容并包和靈活高效四大優(yōu)勢。天元既能夠支持開發(fā)者進行算法訓練，同時其訓練得到的模型，還可以直接用于產品的推理和封裝，無需進行多余的模型轉換。這極大地簡化了算法開發(fā)流程，實現(xiàn)速度和精度的無損遷移。與此同時，天元在模型部署時還能夠自動優(yōu)化模型，自動幫助開發(fā)者刪除冗余代碼。天元將動態(tài)圖的簡單靈活，與靜態(tài)圖的高性能優(yōu)勢進行整合，能在充分利用動態(tài)圖模型訓練優(yōu)勢的同時，通過動靜態(tài)一鍵轉換功能，以靜態(tài)圖的形式完成生產和部署。此外，天元還支持動靜態(tài)的混合編程，進一步提高其靈活性。天元部署了Pythonic的API和PyTorch Module功能，支持模型直接導入，進一步降低框架遷移的入門門檻和學習成本。同時，它內置高性能計算機視覺算子和算法，能夠深度優(yōu)化計算機視覺相關模型訓練和應用。在部署方面，天元擁有多平臺多設備適應能力，其內置算子能夠在推理或生產環(huán)境中充分利用多核優(yōu)勢，靈活調用設備算力，十分適用于大模型算法訓練。從另一角度看，天元亦是一個面向工業(yè)級、研究院規(guī)模的研發(fā)機構而設計的算法研發(fā)基礎組件。
例如其訓練推理一體化優(yōu)勢，能夠幫助開發(fā)者簡化復雜的模型生產流程，大幅度地縮短了算法研發(fā)和部署的時間，幫助企業(yè)快速地將算法變成產品，以投放到市場中，更好地滿足大規(guī)模工業(yè)級、生產級項目的AI需求。天元的這些優(yōu)勢和特點，無疑為中國各大產業(yè)的AI化轉型和發(fā)展提供了重要的技術支持。目前，曠視推出的天元是Alpha版本，其中包括曠視前期整理的代碼和關鍵步驟。田忠博談到，今年6月曠視將推出天元的Beta版本，屆時將添加對Arm系列CPU的支持，以及更多加速芯片的支持。而天元的正式版本將于今年9月發(fā)布，除了添加對主流計算設備的支持外，還將升級其動態(tài)計算能力，進一步優(yōu)化訓練推理全流程的使用體驗。與此同時，曠視天元已在GitHub和國內新一代人工智能開源開放社區(qū)OpenI上同步開源。結語：國家新基建浪潮下，曠視的開源初心與野望
隨著計算機產業(yè)和AI技術的發(fā)展，開源已經成為行業(yè)創(chuàng)新和技術落地的推動力，同時也是加速AI行業(yè)落地的重要引擎之一。隨著近年來大國之間的科技競賽愈演愈烈，AI技術的成熟與落地即代表著一個國家的科技硬實力水平。與此同時，5G、AI、物聯(lián)網和大數據等新興技術的每一步發(fā)展，都將不同程度地推動國家新基建的成長與爆發(fā)。而曠視天元，則是引燃這場爆發(fā)，以及時代變革浪潮中的一股重要力量。未來，中國要想真正立于世界AI科技舞臺的潮頭，不僅需要靠新科技力量的發(fā)展和創(chuàng)新，更需要一個開放、包容和多樣化的科技環(huán)境和生態(tài)。在這場變革的漩渦之中，曠視還會給我們帶來哪些新的技術和驚喜？時間會告訴我們答案。（本賬號系網易新聞·網易號“各有態(tài)度”簽約賬號）
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
