在Gartner發(fā)布的《2021年重要戰(zhàn)略科技趨勢》中，“AI工程化”毫無意外地被列為了2021年九大重要戰(zhàn)略科技趨勢之一。半個世紀以來，AI技術(shù)從概念性地提出到蜻蜓點水般在千行百業(yè)中應(yīng)用，人工智能產(chǎn)業(yè)正經(jīng)歷前所未有的發(fā)展高峰期。但談及真正意義上的“落地”，“工程化”仍是繞不過的一項關(guān)鍵難題。
在今年10月舉辦的云棲大會上，“阿里靈杰”橫空出世，猶如石投靜水，激起千層漣漪，引發(fā)了行業(yè)內(nèi)外的熱議。12月3日，“阿里靈杰AI工程化峰會暨英特爾創(chuàng)新大師杯頒獎典禮”于線上成功舉辦。在本次峰會上，阿里云面向開發(fā)者聚焦阿里靈杰平臺層的能力，從多維角度進行了深度解析。
AI開發(fā)者的奇幻漂流：人工智能下半場，來自開發(fā)者的呼聲
阿里巴巴集團副總裁、阿里云計算平臺事業(yè)部負責(zé)人、達摩院AI平臺負責(zé)人賈揚清為參會者講述了他作為一個AI開發(fā)者在人工智能技術(shù)起起伏伏發(fā)展歷程中的所聞、所感與所想。在少年派的奇幻漂流故事中，我們見證了大自然的波瀾壯闊與信仰的力量；而在賈揚清的描述中，我們領(lǐng)略到一個AI老兵，雖不那么“奇幻”，但足夠精彩的開發(fā)故事。
阿里巴巴集團副總裁、阿里云計算平臺負責(zé)人、達摩院AI平臺負責(zé)人賈揚清
在人工智能上半場中，AI開發(fā)者其實更多的扮演了一個拓荒者的角色，他們身兼數(shù)職的同時不斷嘗試將AI算法與應(yīng)用逐漸落地下去。從算法研究員到軟件工程師，從數(shù)據(jù)工程師再到系統(tǒng)工程師，AI老兵們不斷重復(fù)扮演著不同的角色，通過人拉肩扛的方式試圖解決AI落地過程中產(chǎn)生的全鏈路問題。
但是，在如今這個時代，這樣的方式還是否適用？
答案是否定的。
在AI應(yīng)用愈發(fā)復(fù)雜的大趨勢下，今天的開發(fā)者需要應(yīng)對來自數(shù)據(jù)、軟件、模型三方面的挑戰(zhàn)。數(shù)據(jù)層面，需要解決從模型標注到AI應(yīng)用數(shù)據(jù)回流全周期的數(shù)據(jù)問題；軟件層面，依然還有很多AI框架在不斷重復(fù)著設(shè)計語言、搭建開發(fā)環(huán)境等基礎(chǔ)性工作；模型層面，無論是學(xué)術(shù)界的modelhub、工業(yè)界提供的各類AI服務(wù)、亦或是開發(fā)者本身擁有的各類模型，都會面臨部署、連接以及結(jié)合應(yīng)用的功能實現(xiàn)問題。因此，AI開發(fā)者迫切地需要一個統(tǒng)一的空間來拉通算法迭代、數(shù)據(jù)管理、模型訓(xùn)練以及項目上線，以便更好地管理資源，實現(xiàn)更加高效地開發(fā)。
面對這些痛點，當下開發(fā)者與企業(yè)在推動AI項目落地中對于平臺的需求也逐漸明了：
最底層基于云的基礎(chǔ)設(shè)施有更靈活彈性的資源調(diào)配能力
大數(shù)據(jù)與AI平臺相互魚水交融，有機結(jié)合的能力
在開發(fā)層面完成對AI開發(fā)者開發(fā)效率的提升
在工程平臺上完成對AI算法的創(chuàng)新
阿里靈杰：平臺層基于AI三大要素打造核心價值
目前為止，阿里靈杰圍繞AI開發(fā)過程中不同類型的需求，提供一系列拳頭產(chǎn)品和方案，開發(fā)者可以按需取用。包括大數(shù)據(jù)+AI平臺類產(chǎn)品（云原生大數(shù)據(jù)計算服務(wù)MaxCompute、實時數(shù)倉Hologres、大數(shù)據(jù)開發(fā)治理平臺DataWorks、開源大數(shù)據(jù)平臺EMR、實時計算Flink版、數(shù)據(jù)檢索分析Elasticsearch，數(shù)據(jù)湖構(gòu)建DLF、機器學(xué)習(xí)平臺PAI），AI開放服務(wù)類產(chǎn)品（視覺智能、智能語音交互、自然語言處理、智能增長等領(lǐng)域豐富的AI原子能力），以及豐富的場景化解決方案（城市大腦、工業(yè)大腦、AIEarth、數(shù)字人等）。
在大數(shù)據(jù)+AI平臺層，據(jù)阿里云機器學(xué)習(xí)PAI平臺和大數(shù)據(jù)平臺技術(shù)負責(zé)人林偉介紹，阿里靈杰基于數(shù)據(jù)、算力、算法的人工智能三要素，打造了獨一無二的技術(shù)核心競爭力。
阿里云智能研究員、機器學(xué)習(xí)PAI平臺和大數(shù)據(jù)平臺技術(shù)負責(zé)人林偉
數(shù)據(jù)質(zhì)量決定模型高度
通過湖倉一體化、數(shù)據(jù)分析引擎和AI一體化以及基于DataWorks打造的數(shù)據(jù)質(zhì)量監(jiān)控體系，靈杰圍繞數(shù)據(jù)層面建立了完善的全鏈路體系以支持開發(fā)者進行AI模型的開發(fā)。
算法開發(fā)迭代速度是重要生產(chǎn)力
阿里靈杰基于云原生打造了極具開放性的彈性算力，為用戶提供快速迭代算法的基礎(chǔ)能力。同時為了幫助客戶實現(xiàn)算法模型的落地，阿里靈杰提供了針對模型編譯以及部署等流程的優(yōu)化能力，為大模型提供了從訓(xùn)練到落地的一體化服務(wù)。
AI系統(tǒng)能力是核心能力
圍繞超大規(guī)模稀疏模型訓(xùn)練及服務(wù)、超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型、自動編譯、大規(guī)模集群調(diào)度與MLOps能力，阿里靈杰針對工程領(lǐng)域打造了從開發(fā)到部署的端到端AI系統(tǒng)能力。
PAI為基底，向上支撐，AI工程化愿景初成
在本次峰會上，阿里云機器學(xué)習(xí)PAI平臺產(chǎn)品負責(zé)人黃博遠帶來了PAI-AI工作空間、PAI-iTAG智能標注、PAI-Designer、PAI-DSW、PAI-DLC等一系列全新產(chǎn)品的介紹，并針對M6大模型的生態(tài)體系與開發(fā)平臺進行了深入解讀。
阿里云機器學(xué)習(xí)PAI平臺產(chǎn)品負責(zé)人黃博遠
PAI-AI工作空間
AI項目開發(fā)過程中，涉及到大量關(guān)于算力、存儲的資源對接訪問。PAI-AI工作空間能為開發(fā)者及團隊提供了基于PAI-DLC、MaxCompute、Flink-VVP等資源進行分布式訓(xùn)練的對接能力。同時采用基于角色的訪問控制方式，可保障空間內(nèi)工作協(xié)同的高效與安全。
針對現(xiàn)有的AI資產(chǎn)，工作空間內(nèi)部采用了細粒度的管理模式，數(shù)據(jù)集、模型、鏡像、代碼等AI生產(chǎn)資料均可進行管理沉淀及跨模塊復(fù)用。此外，為了支撐AI開發(fā)端到端流程一體化需求，PAI-AI工作空間配備了一站式工作臺，支持產(chǎn)品模塊向?qū)芥溌妨鬓D(zhuǎn)與實例實施快速共享寫作。
PAI-iTAG 智能標注
數(shù)據(jù)是AI三要素中的重要一環(huán)，如何高效獲取高質(zhì)量的數(shù)據(jù)是每一位AI開發(fā)者必須研究的課題。PAI-iTAG智能標注圍繞三大能力層構(gòu)建了全場景、智能化的標注服務(wù)。其中，工具能力層為用戶提供了基于AI能力打造的智能標注、預(yù)標注能力，并基于阿里云最新的數(shù)字安全傳輸技術(shù)極大保障了標注數(shù)據(jù)的安全性。管理能力層則帶來了任務(wù)分發(fā)驗收與人員權(quán)限管理能力，在提升人員、任務(wù)管理能力的同時保障標注數(shù)據(jù)的高質(zhì)量交付。最后一層是二手服務(wù)能力層，對于企業(yè)及個人所需的專業(yè)全托管數(shù)據(jù)標注服務(wù)，在PAI-iTAG智能標注平臺上也能夠得到滿足。
PAI-Designer
PAI-Designer是一款依托PAI Flow的云原生工作流設(shè)計器，開發(fā)者可以通過該產(chǎn)品自定義靈活串聯(lián)自身所需的Python訓(xùn)練。同時PAI-Designer還提供了面向行業(yè)場景的Easy系列深度學(xué)習(xí)套件以及Alink端到端傳統(tǒng)機器學(xué)習(xí)套件。開發(fā)者可以通過托拉拽的方式構(gòu)建機器學(xué)習(xí)PAIPlan，并支持實驗對照組功能，此外可視化大屏與開放OpenAPI集成功能夠幫助AI開發(fā)者打造“所見即所得”的開發(fā)體驗。
PAI-DSW
對于AI開發(fā)者而言，基于云原生的交互式建模工具能夠為開發(fā)工作帶來極大的便捷，所以一直以來對于此類工具的呼聲一直很高。此次推出的PAI-DSW便是一款全托管式云上的開發(fā)環(huán)境，通過云的能力為開發(fā)者提供了實例環(huán)境的持久化能力。同時基于云的特性，PAI-DSW能夠提供靈活的環(huán)境以及多數(shù)據(jù)集的支持能力。在開發(fā)流程上，DSW做到了全生命周期的實例管理與實例權(quán)限控制。同時和上文中提到的PAI-Designer一樣，PAI-DSW也開放了OpenAPI集成能力。
PAI-DLC
PAI-DLC云原生基礎(chǔ)平臺一站式解決了AI模型訓(xùn)練過程中的問題，該平臺基于云原生的Kubernetes架構(gòu)開發(fā)而成，同時支持公共資源與專有資源，并為開發(fā)者提供了靈活的開發(fā)環(huán)境，支持預(yù)設(shè)、自定義鏡像與掛在多個數(shù)據(jù)集。此外在管理層面該平臺支持全生命周期任務(wù)管理與實例權(quán)限控制，并支持OpenAPI集成能力。該平臺的出現(xiàn)能夠極大幫助開發(fā)者與企業(yè)用戶迅速跨過大規(guī)模、分布式等難關(guān)。
除了上述新產(chǎn)品的發(fā)布，黃博遠在會上還帶來了PAI集成NNI的全新功能發(fā)布，NNI是微軟亞洲研究院發(fā)布的時下最熱門的自動機器學(xué)習(xí)（AutoML）開源項目之一。PAI的DSW工具完美集成了NNI，以jupyter插件的方式使得開發(fā)者可以便利地使用AutoML能力，此外開發(fā)者可以通過DLC分布式訓(xùn)練集群進行NNIHPO分布式訓(xùn)練。
在演講的最后，黃博遠以阿里云十萬億大模型M6為例，展示了通過PAI機器學(xué)習(xí)平臺構(gòu)建此類超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型，通過機器學(xué)習(xí)平臺PAI對大模型進行打磨并實現(xiàn)最終部署的成果全過程成果展示。通過PAI機器學(xué)習(xí)平臺所提供的堅實基礎(chǔ)能力，開發(fā)者與企業(yè)能夠真正做到將AI帶進千家萬戶。
聯(lián)系客服
