作者 | Tapdata 開源社區(qū) 責(zé)編 | 夏萌
出品 | CSDN（ID：CSDNnews）
中臺十年，再看已成桑田。
最初，為了解決互聯(lián)網(wǎng)行業(yè)快速發(fā)展催生出的海量數(shù)據(jù)累積和碎片化問題，企業(yè)開始嘗試將數(shù)據(jù)整合到一個中央平臺，以提高數(shù)據(jù)的使用效率和管理水平，中臺建設(shè)雛形初現(xiàn)。巨頭領(lǐng)跑之下，從“大中臺”到“拆中臺”，再到“去中臺”，中臺似乎已經(jīng)以極快的速度跑完了作為一個新的方法論從越炒越熱到逐漸落寞的一生。
但中臺的發(fā)展果真要止步于此了嗎？
中臺「陷阱」：畫皮不畫骨的淺表模仿
為搭建中臺，某制造業(yè)公司先后投入一年半的時間和 6000 萬元的資金成本。但這樣一個耗費大量資源的“中臺成品”，在實際運行中卻發(fā)揮的價值卻未能達(dá)到預(yù)期。一方面是因為中臺在搭建初期沒有充分考慮到業(yè)務(wù)需求和數(shù)據(jù)質(zhì)量問題，導(dǎo)致后期無法對接業(yè)務(wù)；另一方面是因為中臺的建設(shè)缺乏數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量保障，導(dǎo)致數(shù)據(jù)質(zhì)量不可靠，業(yè)務(wù)部門不愿意使用。最終，中臺被認(rèn)定為一場“失敗的投資”，投入成本無法收回。
無獨有偶，某公司為了搭建中臺，需要引進專業(yè)的技術(shù)人才進行支持和維護。然而，由于技術(shù)人才的稀缺性和高昂的薪資要求，公司不得不將大量的資源投入到技術(shù)人才的招聘和培訓(xùn)上，導(dǎo)致其他部門的資源被迫壓縮，業(yè)務(wù)發(fā)展受到阻礙。中臺的建設(shè)和運維也受到專業(yè)技術(shù)人才變動的制約，牽一發(fā)而動全身……
類似的“中臺翻車”傳聞還有很多，不同于初時的輿論一片向好，眼下提及“中臺”，第一時間更多會聯(lián)想到資源投入過大、極其依賴專業(yè)技術(shù)支持、無法及時驗證效果、高風(fēng)險等，這些多被詬病的問題。
事實上，關(guān)于中臺的發(fā)展與價值，在輿論層面和實踐層面一直是存在割裂的——當(dāng)中臺理論被捧上“神壇”，塑造為解決企業(yè)一切數(shù)字化問題的“萬能銀彈”之時，雖不斷有新的企業(yè)或從旁觀望，或借鑒模仿，卻一直未能在實踐中得到廣泛且有效的復(fù)制，對中小企業(yè)而言尤是如此；但伴隨著中臺理論的輿論性退熱與“唱衰”漸起，反倒有越來越多的企業(yè)開始真正撥開迷霧，研究起了中臺建設(shè)在過渡營銷的泡沫下，所掩蓋的本質(zhì)，也即“中臺”的核心價值。
換言之，潮水退去，中臺作為一個 IT 架構(gòu)和企業(yè)組織模式變革理念，仍在不斷優(yōu)化和演進，而其真正具備積極意義與借鑒價值的內(nèi)核，也正在逐步顯露真容。
借鑒核心思想，而非形式模仿
所謂溯本清源，在研究“要不要建中臺”這個問題之前，企業(yè)需要知道自己真正追求的目標(biāo)是什么，想要通過中臺解決什么問題。顯然，答案不會是搭建一個空中樓閣式的華麗中臺，卻因為無法適配自身業(yè)務(wù)需求與組織架構(gòu)而導(dǎo)致運轉(zhuǎn)失敗，最終不了了之——而這恰恰是中臺建設(shè)問題上，容易掉入的“美麗陷阱”——跟風(fēng)下傾力打造的千萬級數(shù)據(jù)中臺，空余“形似”，而忽略了中臺建設(shè)的長遠(yuǎn)價值和戰(zhàn)略意義。
脫離實際談建設(shè)，都是耍流氓。
舍本逐末搭建起的“偽中臺”不僅不能真正解決數(shù)據(jù)孤島的問題，也無法發(fā)揮中臺所應(yīng)具備的數(shù)據(jù)共享和數(shù)據(jù)協(xié)同的作用，更無法為業(yè)務(wù)創(chuàng)新和效率提升帶來實質(zhì)性的貢獻(xiàn)，一番折騰下來，只剩下傳統(tǒng)中臺的那些弊病構(gòu)成的一地雞毛，遂得出結(jié)論——“中臺誤我”——這口“鍋”終歸還是讓中臺背了。
而破題的關(guān)鍵就在于去粕存精——既然知道陷阱在哪兒，那就繞開它，直接抓取并拆解中臺理論的核心思想，跳過形式，實現(xiàn)本質(zhì)上的革新。
那么，這里所說的“中臺”的精華又是指什么呢？
服務(wù)化：中臺建設(shè)的靈魂
在回答這個問題之前，我們得先弄清楚何中臺的價值。
以零售行業(yè)為例，新零售時代當(dāng)前，企業(yè)依托電商平臺與社交平臺大力推進線上銷售業(yè)務(wù)，社交電商及電商市場規(guī)模不斷擴展。這些平臺為零售行業(yè)提供了更多的營銷和銷售渠道，極大地豐富了消費者的購物選擇和體驗。同時，這也意味著零售企業(yè)需要整合更多渠道的客戶、訂單和庫存等信息，以便更好地管理其業(yè)務(wù)并優(yōu)化其供應(yīng)鏈。面對這樣的需求，中臺首先可以作為一個數(shù)據(jù)中心，對內(nèi)對接企業(yè)的訂單管理、庫存管理、供應(yīng)鏈管理、財務(wù)管理等系統(tǒng)；向外對接呈現(xiàn)給消費者的購物車、支付、物流追蹤、售后服務(wù)、客服等，通過集中整合管理各個渠道、系統(tǒng)的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的一致性和準(zhǔn)確性。一方面可以讓消費者可以獲得更加流暢、便捷、高效的購物和售后體驗，另一方面也為企業(yè)提供更準(zhǔn)確、及時的數(shù)據(jù)分析和決策支持，提高內(nèi)部運營效率，優(yōu)化服務(wù)質(zhì)量。其次，中臺的靈活性和可擴展性也為企業(yè)提供了更大的自由度，從而根據(jù)業(yè)務(wù)需求進行定制化的開發(fā)和集成，幫助企業(yè)更好地應(yīng)對市場變化和不斷變化的消費者需求。
以制造業(yè)背景為例，企業(yè)內(nèi)部有很多系統(tǒng)和業(yè)務(wù)場景，可分成兩類：一類是內(nèi)部使用的、不面向用戶的系統(tǒng)，像是 ERP、BPM、MES 等，這些系統(tǒng)構(gòu)成了企業(yè)的后臺；另一類則是面向用戶的可視系統(tǒng)，例如CRM、渠道管理系統(tǒng)、客戶服務(wù)中心等，這便是前臺；而中臺顧名思義，就是連接后臺和前臺，提供業(yè)務(wù)能力服務(wù)的平臺，可以為企業(yè)提供數(shù)據(jù)、業(yè)務(wù)流程、資源調(diào)度等基礎(chǔ)服務(wù)，讓企業(yè)的前臺系統(tǒng)更加高效、智能化，提升整體生產(chǎn)力和客戶體驗。
由此可見，數(shù)據(jù)中臺本質(zhì)上是一套結(jié)合互聯(lián)網(wǎng)技術(shù)和行業(yè)特性的企業(yè)數(shù)據(jù)架構(gòu)，通過將企業(yè)核心能力以共享服務(wù)的形式進行沉淀，形成一個具有開放性、共享性、可擴展性、可復(fù)用性為主要特征的中間平臺，用于整合和管理企業(yè)內(nèi)部和外部各類分散的數(shù)據(jù)和資源，為業(yè)務(wù)提供快速的數(shù)據(jù)準(zhǔn)備能力，是為業(yè)務(wù)創(chuàng)新賦能，提高業(yè)務(wù)創(chuàng)新的效率的關(guān)鍵機制。中臺的重要性正在于此。
當(dāng)我們了解了中臺理論的作用原理，也就抓住了它的精髓——服務(wù)化——其核心是將企業(yè)的核心數(shù)據(jù)進行沉淀和轉(zhuǎn)化，形成一組自帶“萬能插頭”、可供內(nèi)外部隨時調(diào)用的服務(wù)。
于是，我們得出了這樣一條結(jié)論：數(shù)據(jù)中臺理論符合時代發(fā)展訴求，對于謀求進一步轉(zhuǎn)型升級或者降本增效的企業(yè)而言，仍然具有無可替代的價值，但借鑒絕不是形式上的照搬，而是因地制宜地“移植”——取其“服務(wù)化”精華，去其“無視風(fēng)險、盲目投入”的糟粕。
既然動輒千萬級的數(shù)據(jù)中臺建設(shè)不可取，那么我們又該如何在技術(shù)層面突破傳統(tǒng)桎梏，利用什么樣的技術(shù)或工具，實現(xiàn)合理、低成本構(gòu)建一個務(wù)實、業(yè)務(wù)價值導(dǎo)向的中臺？這當(dāng)中使用什么樣的技術(shù)或工具呢？
由大化小，拆分迭代：從現(xiàn)代數(shù)據(jù)棧的崛起中看到的新思路
這就得先聊聊我們在面向分析領(lǐng)域的數(shù)據(jù)技術(shù)路線變遷里看到的一些有趣變化。
目前，當(dāng)企業(yè)希望提高經(jīng)營洞察，構(gòu)建一個以數(shù)據(jù)分析為目標(biāo)的數(shù)據(jù)平臺時，有兩個技術(shù)路線可以選擇：
一是以 Hadoop 技術(shù)生態(tài)為代表的大數(shù)據(jù)體系；
二是以 Snowflake、Fivetran、DBT 為代表的現(xiàn)代數(shù)據(jù)棧。
以下是對兩種技術(shù)棧的一些分析：
Big Data 的隕落
在傳統(tǒng)的技術(shù)棧中，數(shù)據(jù)處理主要依賴于大數(shù)據(jù)技術(shù)，如 Hadoop、Spark 等，這些技術(shù)主要面向離線批處理，適合對大量數(shù)據(jù)進行處理和分析。然而，當(dāng)前的互聯(lián)網(wǎng)應(yīng)用場景對數(shù)據(jù)處理提出了更高的實時性和交互性需求。
大數(shù)據(jù)正在逐漸被時代發(fā)展邊緣化，其發(fā)展在一定程度上出現(xiàn)了問題，其中比較有代表性的幾點包括：
長時間的設(shè)置和學(xué)習(xí)過程：建立和學(xué)習(xí)大數(shù)據(jù)系統(tǒng)需要大量的時間和精力。從采集數(shù)據(jù)開始，到數(shù)據(jù)的清洗、處理和存儲，再到對數(shù)據(jù)進行分析和應(yīng)用，這個過程需要不斷地調(diào)整和改進，使其適應(yīng)不斷變化的業(yè)務(wù)需求和市場趨勢。
對新信息的響應(yīng)緩慢： 大數(shù)據(jù)分析系統(tǒng)通常需要在大量數(shù)據(jù)上運行模型和算法，以找到有用的信息和趨勢。 這個過程需要消耗大量的計算資源和時間，所以它的響應(yīng)速度相對較慢，可能需要一段時間才能產(chǎn)生有意義的結(jié)果。
洞察的成本消耗較高： 在大數(shù)據(jù)分析過程中，需要大量的技術(shù)和資源投入，包括硬件和軟件的設(shè)備、人才的培訓(xùn)和招聘、以及數(shù)據(jù)的存儲和處理等。 這些成本很高，可能會讓企業(yè)和組織在決定是否要投資大數(shù)據(jù)時感到猶豫和困惑。
很多大數(shù)據(jù)項目只能做到數(shù)據(jù)的收集和存儲，但對數(shù)據(jù)的應(yīng)用卻無從下手。因此，盡管有些項目在一兩年的時間內(nèi)取得了一定成果，但往往也只能擱淺在這個階段，無法進一步推進。由于大數(shù)據(jù)技術(shù)棧龐大且復(fù)雜，規(guī)劃和人才配備需要大量的時間和資源，且一旦需要調(diào)整或改動，投入的成本也非常高。
此外，歷史數(shù)據(jù)的采集和存儲對于大數(shù)據(jù)而言也是個棘手的問題。雖然歷史數(shù)據(jù)在大數(shù)據(jù)分析中也存在價值，但對于許多業(yè)務(wù)場景來說，最有價值的數(shù)據(jù)通常是最新的這一部分。很多時候需要對這些數(shù)據(jù)進行實時收集和分析，以便及時做出決策和調(diào)整。而大數(shù)據(jù)技術(shù)對于存儲、計算和使用數(shù)據(jù)的成本都很高，相較于產(chǎn)生的價值來說，其代價實在是過高了。
因此，從 2018 年開始，大數(shù)據(jù)領(lǐng)域的三大廠商 Cloudera、MapR 和 Hortonworks 相繼被收購或合并。對于陷入瓶頸的大數(shù)據(jù)而言，發(fā)展的頹勢已是避無可避。
現(xiàn)代數(shù)據(jù)棧的升起
大數(shù)據(jù)的發(fā)展現(xiàn)狀正在催促我們引入更加靈活的技術(shù)棧，現(xiàn)代數(shù)據(jù)技術(shù)棧（Modern Data Stack，MDS）的概念由此被提出，并獲得越來越多的認(rèn)可。 其基礎(chǔ)定義為：“由于云數(shù)據(jù)倉庫的興起而出現(xiàn)的一系列數(shù)據(jù)工具生態(tài)系統(tǒng)”。
翻譯過來就是，將我們數(shù)字化建設(shè)過程中所需 要的工具拆分成各個模塊，然后從問題出發(fā)，根據(jù)業(yè)務(wù)需求選擇需要的模塊，而不是像過去那樣，一口氣建立一個大一統(tǒng)的數(shù)據(jù)平臺或數(shù)據(jù)中臺?，F(xiàn)代數(shù)據(jù)棧通常結(jié)合了云數(shù)倉等云服務(wù)，并展現(xiàn) 出如下幾點關(guān)鍵特征和優(yōu)勢：
云原生、可托管：現(xiàn)代數(shù)據(jù)棧通常是云原生的，可以在云平臺上構(gòu)建和托管。這意味著可以隨時增加或減少計算和存儲資源，并且可以靈活地擴展或縮小規(guī)模。這種可托管的方式能夠幫助企業(yè)降低運營成本和管理負(fù)擔(dān)。
可組合、可插拔：現(xiàn)代數(shù)據(jù)棧的組件通常都是可組合和可插拔的。這意味著企業(yè)可以根據(jù)自身需要選擇和組合不同的組件來構(gòu)建數(shù)據(jù)處理流程。這種靈活性能夠幫助企業(yè)快速適應(yīng)不同的業(yè)務(wù)需求和數(shù)據(jù)場景。
迭代式：相較于傳統(tǒng)的中臺或大數(shù)據(jù)項目自上而下的開發(fā)方式，現(xiàn)代數(shù)據(jù)棧更傾向于采用迭代式的方式進行構(gòu)建和演進，具有敏捷開發(fā)、輕量級和可擴展、開放性和組件化等差異，能夠更快地響應(yīng)業(yè)務(wù)需求和變化，并且能夠通過持續(xù)集成和持續(xù)部署等方式實現(xiàn)快速迭代和交付。
自助服務(wù)：無需供應(yīng)商介入即可完成自助選型，非技術(shù)專家也能夠輕松地使用數(shù)據(jù)處理和分析工具。這種自助服務(wù)的方式能夠幫助企業(yè)降低對技術(shù)人員的依賴，同時也能夠更加快速地實現(xiàn)業(yè)務(wù)需求。
從源頭開始，數(shù)據(jù)會經(jīng)過數(shù)據(jù)接入采集、加工處理 和業(yè)務(wù)價值展現(xiàn)等步驟?，F(xiàn)代數(shù)據(jù)棧據(jù)此提供了各種各樣的工具，包括云上的數(shù)倉、集成的工具以及分析工具等，可以幫助企業(yè)在短時間內(nèi)完成一個快速的項目，時間成本可壓縮至周為單位，資金成本則可低至幾千到幾萬元，甚至可能免費。
相比于傳統(tǒng)的大數(shù)據(jù)技術(shù)棧，現(xiàn)代數(shù)據(jù)棧更加注重服務(wù)化。或者說，現(xiàn)代數(shù)據(jù)棧本身就是一種服務(wù)化的技術(shù)棧，同樣強調(diào)面向全業(yè)務(wù)支撐和交互式業(yè)務(wù)，允許用戶使用多種不同的工具和技術(shù)來管理和處理數(shù)據(jù)，旨在提供更加全面、靈活、高效的數(shù)據(jù)服務(wù)，更好地支持業(yè)務(wù)需求，幫助企業(yè)更好地實現(xiàn)數(shù)字化轉(zhuǎn)型。
現(xiàn)代數(shù)據(jù)棧的發(fā)展模式下，企業(yè)如果能在正確的環(huán)節(jié)選擇正確的工具，則無異于為自身的數(shù)字化轉(zhuǎn)型開了個事半功倍的好頭。那么，如果我們將這樣的理念應(yīng)用到我們上文提到的面向全域業(yè)務(wù)的數(shù)據(jù)中臺建設(shè)呢？
以現(xiàn)代數(shù)據(jù)棧理念來建設(shè)數(shù)據(jù)中臺
首先，讓我們參照現(xiàn)代數(shù)據(jù)棧的邏輯，按照不同的功能模塊對數(shù)據(jù)中臺進行拆解。
數(shù)據(jù)中臺通常包含包含以下幾層架構(gòu)：
數(shù)據(jù)集成層：負(fù)責(zé)將不同數(shù)據(jù)源的數(shù)據(jù)整合到一起，并進行必要的數(shù)據(jù)清洗和轉(zhuǎn)換。
數(shù)據(jù)存儲層：負(fù)責(zé)將數(shù)據(jù)存儲在統(tǒng)一的數(shù)據(jù)倉庫中，并提供高效的數(shù)據(jù)查詢和存儲能力。
數(shù)據(jù)開發(fā)層：為數(shù)據(jù)分析師和開發(fā)人員提供了一系列工具和平臺，使其能夠快速地開發(fā)和部署數(shù)據(jù)分析應(yīng)用和數(shù)據(jù)產(chǎn)品。
數(shù)據(jù)治理層：負(fù)責(zé)管理和維護數(shù)據(jù)的元數(shù)據(jù)、標(biāo)準(zhǔn)、質(zhì)量等，保證數(shù)據(jù)的正確性、一致性和可靠性。
數(shù)據(jù)服務(wù)層：為企業(yè)內(nèi)部不同的業(yè)務(wù)部門、數(shù)據(jù)分析師以及外部客戶等提供數(shù)據(jù)服務(wù)，推動數(shù)據(jù)成為企業(yè)價值的重要組成部分。
這些模塊分而治之，共 同構(gòu)成了一個可擴展、可維護的系統(tǒng)，數(shù)據(jù)經(jīng)由每一層流轉(zhuǎn)，最終形成企業(yè)所需的高價值、可復(fù)用的珍貴資源。而在這個過程中，每一個或多步驟都可以有一個獨立的工具或產(chǎn)品來完成。這就又涉及到企業(yè)該如何選型的問題。
以下是針對不同環(huán)節(jié)的一些常用方案或工具的列舉：
數(shù)據(jù)集成：Fivetran / Airbyte / Tapdata
數(shù)據(jù)存儲：Hive / MongoDB / Doris
數(shù)據(jù)開發(fā)：DBT / Tapdata
數(shù)據(jù)治理：Atlan / Informatica
這時，為了從源頭上避免傳統(tǒng)中臺建設(shè)場景下常見的，因一次性投入過大卻無法實現(xiàn)預(yù)期目標(biāo)的風(fēng)險，企業(yè)可以采取迭代式推進的方式，逐步實現(xiàn)數(shù)據(jù)中臺的構(gòu)建。
先按照實際需求，在 綜合考慮包括企業(yè)規(guī)模、業(yè)務(wù)復(fù)雜度、系統(tǒng)數(shù)量、支持業(yè)務(wù)場景的多少、業(yè)務(wù)價值、預(yù)算以及人力資源等在內(nèi)的一系列因素的前提下，確定一個初步的數(shù)據(jù)中臺架構(gòu)方案。再根據(jù)這個方案，選擇一個或多個關(guān)鍵模塊，進行搭建、測試和優(yōu)化，并在這個基礎(chǔ)上分階段、逐步建立數(shù)據(jù)中臺的基礎(chǔ)設(shè)施和數(shù)據(jù)資產(chǎn)。除了能有效降低投入產(chǎn)出風(fēng)險，迭代式推進還可以讓企業(yè)在整個搭建過程中不斷積累經(jīng)驗和知識，為未來的數(shù)據(jù)分析和業(yè)務(wù)創(chuàng)新提供更加可靠的支持。
舉個例子
以 Tapdata（tapdata.net） 為例，我們來看下如何完成數(shù)據(jù)平臺搭建中價值點最明顯的關(guān)鍵第一步——打通數(shù)據(jù)，入倉。
Tapdata LDP（Live Data Platform）將數(shù)據(jù)中臺的服務(wù)化理念與現(xiàn)代技術(shù)棧模式相結(jié)合。作為一個自帶實時數(shù)據(jù)復(fù)制能力的數(shù)據(jù)即服務(wù)平臺，以無代碼方式 快速連接企業(yè)的數(shù)據(jù)孤島 ，將數(shù)據(jù)實時集成到中央數(shù)據(jù)平臺，形成可復(fù)用的標(biāo)準(zhǔn)數(shù)據(jù)模型，為多個下游交互式應(yīng)用提供始終新鮮的數(shù)據(jù)。
Tapdata 解決的是所有數(shù)據(jù)場景的第一步： 數(shù)據(jù)集成。 但是與傳統(tǒng)數(shù)據(jù)集成最大的不同點是，它提供了一個高速的數(shù)據(jù)緩存層：
通過添加緩存，傳統(tǒng)的數(shù)據(jù)集成架構(gòu)升級成了數(shù)據(jù)服務(wù)架構(gòu)。具有以下幾個優(yōu) 點：
可復(fù)用：集成一次，可復(fù)用多次，大幅度降低人力成本和提高數(shù)據(jù)集成效率
基于高性能分布式 MongoDB，可直接提供高性能查詢服務(wù)，無縫升級已有關(guān)系數(shù)據(jù)庫的查詢能力
靈活模型存儲，更容易輕松集成不同數(shù)據(jù)來源的不同結(jié)構(gòu)的同一類數(shù)據(jù)
較之每每導(dǎo)致“水土不服”的傳統(tǒng)大型中臺，這樣一個更靈活、更高效、更經(jīng)濟、更實時的符合現(xiàn)代數(shù)據(jù)棧理念的數(shù)據(jù)服務(wù)平臺正是我們一直在尋找的中臺先進方法論“去粕存精”后的產(chǎn)物，可以切實可行地幫助企業(yè)快速實現(xiàn)數(shù)據(jù)的共享和交換，提高數(shù)據(jù)的使用效率，更好地服務(wù)于業(yè)務(wù)發(fā)展。
值得注意的是， 在搭建自身的數(shù)據(jù)服務(wù)平臺時，企業(yè)應(yīng)選擇經(jīng)過充分驗證的平臺工具，確保平臺的安全性和穩(wěn)定性。另外，企業(yè)也需要根據(jù)自身業(yè)務(wù)需求進行深入的需求分析，選擇合適的數(shù)據(jù)服務(wù)模塊，推動服務(wù)化建設(shè)的快速落地。
特別聲明：本文為網(wǎng)易自媒體平臺“網(wǎng)易號”作者上傳并發(fā)布，僅代表該作者觀點。網(wǎng)易僅提供信息發(fā)布平臺。
聯(lián)系客服
