“騰訊大數(shù)據(jù)-天工”助力萬物互聯(lián)，抬高云計算競爭壁壘
2021年的上海車展最大看點并不是新車，而是火爆的自動駕駛技術(shù)以及車聯(lián)網(wǎng)。美團王興說，車成了互聯(lián)網(wǎng)技術(shù)的載體。筆者非常贊同這一看法。
在自動駕駛和車聯(lián)網(wǎng)的背后是大數(shù)據(jù)、云計算以及各種網(wǎng)絡(luò)服務(wù)。在萬物互聯(lián)的時代，會有越來越多的行業(yè)成為“載體”，而這些載體不停地產(chǎn)生數(shù)據(jù)，這就必須提升數(shù)據(jù)的處理分析能力、安全防護能力，同時還要規(guī)避數(shù)據(jù)孤島，讓數(shù)據(jù)發(fā)揮最大價值。無獨有偶，4月18日，騰訊發(fā)布自研的第四代數(shù)智融合計算平臺“騰訊大數(shù)據(jù)—天工”。騰訊稱，這一數(shù)據(jù)平臺是新基礎(chǔ)設(shè)施的重要組成部分，通過數(shù)智融合計算以安全方式打通數(shù)據(jù)孤島，橋接多方數(shù)據(jù)，以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價值，以智能化的方式驅(qū)動整個數(shù)據(jù)處理閉環(huán)，為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級提供更好服務(wù)。那么，“騰訊大數(shù)據(jù)—天工”發(fā)布的背景是什么？具體解決了哪些問題？接下來，筆者將用非常通俗易懂的語言與各位讀者分享。在文章開頭，我們提到車的自動駕駛技術(shù)和車聯(lián)網(wǎng)，咱們就以此為例來看下車聯(lián)網(wǎng)時代面臨的一系列難題。車想要實現(xiàn)自動駕駛，就必須對道路、障礙物以及各類突發(fā)情況進行識別，然后通過算法對這些情況進行建模。簡單講，車想要自動駕駛，必須先學(xué)習(xí)識別路況。而這些路況信息十分復(fù)雜，需要通過車不斷的進行路測去采集道路數(shù)據(jù)，采集駕駛員數(shù)據(jù)等各種不規(guī)則數(shù)據(jù)，然后對數(shù)據(jù)進行分析和學(xué)習(xí)。在數(shù)據(jù)采集、分析和學(xué)習(xí)的過程中，面臨數(shù)據(jù)的計算、數(shù)據(jù)孤島、數(shù)據(jù)的應(yīng)用等多個問題。想要對海量數(shù)據(jù)進行計算，就必須提高算力。想要突破數(shù)據(jù)孤島，就需要讓路況、障礙物、突發(fā)事件、駕駛員等各類數(shù)據(jù)發(fā)生關(guān)聯(lián)，而應(yīng)用數(shù)據(jù)過程中，還需要保證數(shù)據(jù)的安全。除了自動駕駛行業(yè)外，在金融、制造、家居等任何需要數(shù)字化的領(lǐng)域都會遇到類似問題，這也對數(shù)據(jù)平臺這一基礎(chǔ)設(shè)施的能力提出了更高要求。這也是騰訊大數(shù)據(jù)平臺升級的行業(yè)背景。騰訊大數(shù)據(jù)基礎(chǔ)設(shè)施的變遷為應(yīng)對萬物互聯(lián)時代，海量復(fù)雜數(shù)據(jù)的處理和分析，需要構(gòu)建一個強大的數(shù)據(jù)處理基礎(chǔ)設(shè)施，這包括服務(wù)器、算力、數(shù)據(jù)庫等。目前，騰訊大數(shù)據(jù)日接入消息量超過55萬億，日實時計算量超過65萬億，平臺整體算力超過500萬核，日分析任務(wù)達到1500萬，騰訊大數(shù)據(jù)平臺的能力不斷被刷新，騰訊云已經(jīng)成為國內(nèi)算力最強的云廠商，同時也是日實時計算量最大的公司。騰訊云自研的星星海服務(wù)器，對應(yīng)云上實例星星海SA3可提供最高232個核心的單節(jié)點算力，能夠進一步滿足用戶在視頻編解碼、離線渲染、數(shù)據(jù)庫、AI等場景下對算力性能的需求。數(shù)據(jù)庫方面，騰訊云原有的TDSQL、TBase、CynosDB三大產(chǎn)品線統(tǒng)一升級為“騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL”。作為數(shù)據(jù)的底層處理平臺，騰訊的大數(shù)據(jù)平臺也一直隨著數(shù)據(jù)處理需求的變化而升級。2009年，第一代平臺以離線計算為主要模式化，依托Hadoop生態(tài)，結(jié)合業(yè)務(wù)場景進行局部優(yōu)化，處理任務(wù)通常需要小時甚至天級別時間完成。2012年，以Spark/Storm為代表的實時計算處理框架為代表，騰訊大數(shù)據(jù)平臺的處理性能邁入毫秒時代，在開源框架基礎(chǔ)上重寫了核心模塊，顯著提升了性能。2015年附近，隨著深度學(xué)習(xí)浪潮興起，騰訊大數(shù)據(jù)進入第三代，從0到1自研了機器學(xué)習(xí)框架Angel，意味著整體大數(shù)據(jù)平臺進入機器學(xué)習(xí)時代。2019年開始，騰訊大數(shù)據(jù)在規(guī)劃第四代計算平臺，包括批流融合、數(shù)據(jù)湖、聯(lián)邦學(xué)習(xí)等新型技術(shù)，圍繞安全、智能、統(tǒng)一等提出了下一代騰訊天工數(shù)智融合計算平臺。作為第四代大數(shù)據(jù)平臺，騰訊天工數(shù)智融合計算平臺把AI、大數(shù)據(jù)以及最熱門的隱私計算全都融合在一起，實現(xiàn)在保護數(shù)據(jù)隱私的同時，提供聯(lián)合數(shù)據(jù)分析、聯(lián)合數(shù)據(jù)建模等能力。目前，騰訊大數(shù)據(jù)技術(shù)既可支撐內(nèi)部所有業(yè)務(wù)，又可以服務(wù)各類企業(yè)、政府機構(gòu)。比如，內(nèi)部的企業(yè)微信、騰訊會議、微信小程序、微信支付等都在用。外部客戶包括中行、建行、招行、中國人保、太平洋保險、海通證券、江蘇消防、山東電力、湖南國電等。騰訊天工數(shù)智融合計算平臺為何難以復(fù)制？有些人會說，騰訊大數(shù)據(jù)平臺使用的是Hadoop、Spark/Storm等開源框架，是不是同行們也可以輕松實現(xiàn)騰訊天工數(shù)智融合計算平臺的能力？其實，這個疑問是多余的。首先，沒有幾家企業(yè)具備騰訊的業(yè)務(wù)范圍和數(shù)據(jù)規(guī)模。這是少有企業(yè)具備騰訊同樣復(fù)雜的數(shù)據(jù)處理需求和數(shù)據(jù)處理能力，騰訊的業(yè)務(wù)涵蓋了社交、游戲、視頻、金融、辦公、教育等幾乎所有行業(yè)，而且多個行業(yè)都是行業(yè)領(lǐng)先，而同行則只覆蓋一個或幾個行業(yè)的業(yè)務(wù)。這也讓騰訊可以在全行業(yè)中打磨自己的數(shù)據(jù)平臺，同時海量的數(shù)據(jù)處理能力也是其他同行不具備的。目前，騰訊大數(shù)據(jù)平臺日接入消息量超過55萬億，日實時計算量超過65萬億。其次，在IaaS、PaaS以及SaaS上的綜合實力。當(dāng)前一些第三方調(diào)研機構(gòu)的份額排行，大多數(shù)只提供IaaS的數(shù)據(jù)，事實上除了公有云外，PaaS\SaaS服務(wù)早就大行其道。而騰訊除了在傳統(tǒng)的公有云上具備領(lǐng)先地位外，其PaaS\SaaS服務(wù)更是涵蓋范圍廣，服務(wù)用戶多，合計市場份額一直在國內(nèi)位居第二。得益于業(yè)務(wù)范圍廣、數(shù)據(jù)量大、云計算服務(wù)范圍廣的優(yōu)勢，“騰訊大數(shù)據(jù)—天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓(xùn)練，性能參數(shù)領(lǐng)先業(yè)界5倍，金融級安全強度的騰訊隱私計算技術(shù)已廣泛應(yīng)用在醫(yī)療、金融風(fēng)控、數(shù)字政務(wù)等眾多領(lǐng)域。“騰訊大數(shù)據(jù)-天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓(xùn)練，性能參數(shù)領(lǐng)先業(yè)界5倍，在此基礎(chǔ)上，提供3072bit加密和TEE硬件雙保險。同時，憑借自研隱私計算技術(shù)，騰訊大數(shù)據(jù)相關(guān)團隊獲得iDash 2020世界隱私計算大賽冠軍。一句話，“騰訊大數(shù)據(jù)-天工”是難以被復(fù)制和超越的，具有極強的競爭壁壘，也必然從根本上提升騰訊云各類解決方案服務(wù)客戶的能力，實現(xiàn)差異化競爭。面對即將爆發(fā)式增長的萬物互聯(lián)時代，在多年技術(shù)積累和需求的強力推動下，騰訊云已經(jīng)打通了IaaS+PaaS+SaaS全方位云服務(wù)體系，在服務(wù)器、算力、算法、數(shù)據(jù)庫、大數(shù)據(jù)平臺、PaaS/SaaS解決方案上都完成了全面的布局，綜合云計算服務(wù)的市場份額領(lǐng)先，并保持高速增長。可以說，現(xiàn)在萬事俱備只欠東風(fēng)。騰訊產(chǎn)業(yè)互聯(lián)網(wǎng)業(yè)務(wù)正處在爆發(fā)前夜，值得期待！
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
