在自動駕駛領(lǐng)域中，YRCloudFile的作用是在大量的訓(xùn)練中，減少每個輪次的訓(xùn)練時間，使得自動駕駛模型上市的時間可以提前，這也是YRCloudFile為自動駕駛企業(yè)帶來的核心價值。
文｜低速無人駕駛編輯部
隨著計算、存儲以及網(wǎng)絡(luò)等技術(shù)的不斷發(fā)展，數(shù)據(jù)存儲方式開始不斷變化。對于需要大量數(shù)據(jù)的業(yè)務(wù)應(yīng)用來說，服務(wù)器內(nèi)置存儲空間，或者說內(nèi)置磁盤已不足以滿足存儲需要。因此，在內(nèi)置存儲之外，服務(wù)器需要采用外置存儲的方式來擴展存儲空間，比如集中式存儲和軟件定義存儲。前者即指通過一個或數(shù)個固定的盤陣控制器，連接幾個磁盤柜的方式，由盤陣控制器作為數(shù)據(jù)訪問入口，為應(yīng)用服務(wù)器提供數(shù)據(jù)訪問；后者是將所有存儲相關(guān)的訪問和控制工作都以軟件的方式，部署在多臺普通服務(wù)器上，應(yīng)用可以通過網(wǎng)絡(luò)訪問這些外部服務(wù)器上的數(shù)據(jù)。相對于前者，軟件定義存儲由于更好的橫向擴展能力、軟硬件解耦、更高可靠性和可用性，被越來越多行業(yè)和應(yīng)用所接受。目前，國內(nèi)從事軟件定義存儲的廠商不少，其中就包括了焱融科技。焱融科技成立于2016年，專注于軟件定義存儲技術(shù)的研發(fā)，數(shù)年的時間便創(chuàng)下不菲的成績，如2020年，焱融科技不僅獲取了國內(nèi)軟件定義存儲首個海外客戶，還實現(xiàn)了客戶接近400%，年銷售額300%以上的增長。那么，焱融科技是如何做到這樣高速發(fā)展的？其中YRCloudFile功不可沒。分布式存儲產(chǎn)品——YRCloudFileYRCloudFile是焱融科技推出的一款非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲平臺，它可以在公有云、私有云環(huán)境下為客戶提供高性能、高擴展以及云原生的非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)；推出后不久，便一舉斬獲了IO500世界存儲性能挑戰(zhàn)的第六名。焱融科技產(chǎn)品總監(jiān)黎俊鴻表示，YRCloudFile是經(jīng)過持續(xù)的企業(yè)/用戶訪談、技術(shù)交流、全面測試以及版本迭代推出的分布式存儲產(chǎn)品，其核心特色是產(chǎn)品的高性能特性，借助這一特性，YRCloudFile可以為人工智能、自動駕駛領(lǐng)域中的訓(xùn)練環(huán)節(jié)，以及高計算環(huán)境中的數(shù)據(jù)加載運算階段提供高速、穩(wěn)定的數(shù)據(jù)訪問能力。圖：YRCloudFile產(chǎn)品構(gòu)架圖黎俊鴻告訴記者，YRCloudFile有3大主要特點：
海量小文件下的高性能，采用元數(shù)據(jù)節(jié)點集群化、多級智能緩存、智能預(yù)讀等多種技術(shù)，深度優(yōu)化海量文件讀寫性能、目錄訪問熱點等問題；云原生容器存儲，提供了標準CSI接口，支持PV配額、Resize、QoS，分別從容量、IO性能上去對存儲資源做了隔離與規(guī)劃，通過PV Insight幫助管理員查看存儲卷內(nèi)部數(shù)據(jù)分布和冷熱情況；支持公有云/混合云，YRCloudFile可以在阿里云、騰訊云、AWS等公有云上實現(xiàn)一鍵部署，在公有云上提供高性能的文件存儲服務(wù)，并通過冷熱數(shù)據(jù)分層功能使數(shù)據(jù)在不同層級之間流動，從而降低存儲的總體擁有成本。由于性能優(yōu)異，YRCloudFile目前已被百余家客戶應(yīng)用于生態(tài)環(huán)境中，包括中國移動、科大訊飛、圖森未來、新石器、MORE VFX、樹根互聯(lián)、中國銀行等行業(yè)頭部企業(yè)，涉及人工智能、自動駕駛、影視渲染、IoT、金融等多個應(yīng)用場景。自動駕駛訓(xùn)練環(huán)節(jié)，YRCloudFile提供高性能服務(wù)在自動駕駛這一領(lǐng)域，焱融科技已和圖森未來、新石器等廠商達成了合作，為其提供數(shù)據(jù)存儲服務(wù)。黎俊鴻告訴記者，自動駕駛屬于人工智能中的垂直細分領(lǐng)域，包含了采集、標注、計算等環(huán)節(jié)，只有通過這些環(huán)節(jié)形成一個模型，才能確保自動駕駛的落地。然而，隨著越來越多的雷達、攝像頭等傳感器被部署在車上，各個環(huán)節(jié)的工作量與日俱增，尤其是一些高性能自動駕駛汽車對數(shù)據(jù)的存儲需求更是巨大，一天生成的數(shù)據(jù)量便可達8TB左右。圖：基于YRCloudFile高性能分布式文件存儲的自動駕駛開發(fā)周期結(jié)構(gòu)圖因此，如何高效，穩(wěn)定地保證自動駕駛過程中收集到的大量數(shù)據(jù)能快速形成自動駕駛的計算模型成了自動駕駛企業(yè)CTO們關(guān)注的重要問題。焱融科技推出的YRCloudFile分布式存儲產(chǎn)品便可解決訓(xùn)練過程中數(shù)據(jù)訪問效率的問題。
據(jù)黎俊鴻介紹，當前，自動駕駛領(lǐng)域的訓(xùn)練過程中，面臨著數(shù)據(jù)訪問性能的瓶頸問題。“自動駕駛汽車中的傳感器會收集行駛中的數(shù)據(jù)，待數(shù)據(jù)收集完后，會以各種形式存放到數(shù)據(jù)中心，服務(wù)器在獲取數(shù)據(jù)時，由于存儲系統(tǒng)提供的訪問速度跟不上GPU處理數(shù)據(jù)的速度，導(dǎo)致GPU出現(xiàn)閑置現(xiàn)象，進而影響整個自動化訓(xùn)練的進程和效率，造成GPU資源浪費，而YRCloudFile的定位便是解決自動化駕駛訓(xùn)練過程中的數(shù)據(jù)存放和使用的問題”。黎俊鴻認為，YRCloudFile的主要作用在于充分發(fā)揮GPU的計算能力，在短時間內(nèi)為GPU提供足夠的數(shù)據(jù)，讓GPU進行充分計算，“比如，使用焱融科技YRCloudFile的存儲平臺，每秒可以為GPU提供獲取5GB到10GB的數(shù)據(jù)，極大地提高了GPU訪問數(shù)據(jù)的效率。在自動駕駛領(lǐng)域中，自動駕駛功能的最終形成一定是經(jīng)過大量的訓(xùn)練。YRCloudFile的作用便是在大量的訓(xùn)練中，減少每個輪次的訓(xùn)練時間，使得自動駕駛模型上市的時間可以提前，這就是YRCloudFile能為自動駕駛企業(yè)帶來的核心價值。”黎俊鴻表示。YRCloudFile的分布式存儲技術(shù)目前已被大量企業(yè)認可，包括政府、金融、教育、醫(yī)療等多個機構(gòu)。據(jù)黎俊鴻介紹，與傳統(tǒng)式存儲方法相比，分布式存儲技術(shù)最核心的優(yōu)勢便是解決了當前數(shù)據(jù)存儲中的兩大挑戰(zhàn)問題。即通過分布式存儲軟件，將云平臺中的并發(fā)存儲訪問分散至分布式集群的各個節(jié)點，滿足云平臺上客戶端的存儲訪問性能需求；分布式軟件可水平擴展，使單集群容量實現(xiàn)按需擴容，解決傳統(tǒng)存儲單套設(shè)備容量上限問題。這兩個優(yōu)勢，使得分布式存儲技術(shù)在云環(huán)境及數(shù)據(jù)規(guī)模大的場景下，得到大量應(yīng)用和發(fā)展。對于分布式存儲技術(shù)，黎俊鴻表示看好，并表示其有可能是未來存儲技術(shù)的主流發(fā)展方向。據(jù)他介紹，未來存儲技術(shù)的方向會朝著性能適配性和場景優(yōu)化性進行突破。“首先未來存儲技術(shù)一定會適配更多新型部件，包括品牌、網(wǎng)絡(luò)、架構(gòu)等，這意味著產(chǎn)品需要適配更加卓越的數(shù)據(jù)處理能力，因此如何發(fā)揮新型部件性能，是上層存儲技術(shù)供應(yīng)商必須要做出改進的。其次，從發(fā)展的角度，未來存儲技術(shù)只有針對某些垂直場景進行優(yōu)化，才能更好地布局該場景。比如目前的自動駕駛、人工智能、視頻渲染等領(lǐng)域，只有從存儲的角度去理解、瞄準該領(lǐng)域的特點進行優(yōu)化，才能更好發(fā)展。”現(xiàn)階段，焱融科技正處于快速發(fā)展時期，未來，為了不斷適應(yīng)各行業(yè)對于數(shù)據(jù)存儲的需要，焱融科技會持續(xù)進行產(chǎn)品迭代，擴展容器應(yīng)用、混合云存儲、統(tǒng)一非結(jié)構(gòu)化數(shù)據(jù)管理、Data Lakes等場景應(yīng)用，加速對優(yōu)勢場景覆蓋。同時，進一步加強國際化，加強軟件訂閱模式的推廣以及保持3倍的銷售額增長。8月5日，焱融科技合伙人&產(chǎn)品總監(jiān)黎俊鴻將出席“2021功能型低速無人車產(chǎn)業(yè)技術(shù)發(fā)展峰會”，并參與“低速無人駕駛聯(lián)盟成立”儀式。峰會期間，黎俊鴻將以《新型存儲架構(gòu)助力自動駕駛數(shù)據(jù)處理的實踐》為主題發(fā)表演講報告。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
