與傳統(tǒng)的數(shù)據(jù)架構(gòu)要求整合、面向主題、固定分層等特點(diǎn)不同，數(shù)據(jù)湖為企業(yè)全員獨(dú)立參與數(shù)據(jù)運(yùn)營和應(yīng)用創(chuàng)新提供了極大的靈活性，并可優(yōu)先確保數(shù)據(jù)的低時(shí)延、高質(zhì)量和高可用，給運(yùn)營商數(shù)據(jù)架構(gòu)優(yōu)化提供了很好的參考思路。運(yùn)營商數(shù)據(jù)架構(gòu)的現(xiàn)狀及挑戰(zhàn)從數(shù)據(jù)的系統(tǒng)歸屬上看，運(yùn)營商數(shù)據(jù)可分為MSS（管理支撐系統(tǒng)）的面向人、財(cái)、物管理類數(shù)據(jù)，BSS（業(yè)務(wù)支撐系統(tǒng)）的面向客戶和產(chǎn)品的營銷及客戶服務(wù)數(shù)據(jù)，OSS（運(yùn)營支撐系統(tǒng)）的面向產(chǎn)品和網(wǎng)絡(luò)的功能及運(yùn)營服務(wù)數(shù)據(jù)，三者之間既相對松耦合，又有著緊密的協(xié)作關(guān)系，BSS和OSS的銜接點(diǎn)主要在產(chǎn)品及開通、排障服務(wù)，MSS和BSS、OSS的銜接點(diǎn)主要在參與人和資源。從數(shù)據(jù)分類來看，運(yùn)營商的數(shù)據(jù)可分為作為企業(yè)核心的功能類實(shí)體數(shù)據(jù)、表示企業(yè)所有運(yùn)營過程的活動(dòng)類數(shù)據(jù)、體現(xiàn)內(nèi)外部客戶感知并圍繞兩大主線所產(chǎn)生的感知類指標(biāo)數(shù)據(jù)以及與管理相關(guān)的人、財(cái)、物及流程數(shù)據(jù)。電信運(yùn)營商數(shù)據(jù)范圍示例如圖1所示。
- 現(xiàn)有BSS/OSS系統(tǒng)分省/總部兩級建設(shè)和維護(hù)，源系統(tǒng)模型屬地管理；網(wǎng)絡(luò)/平臺數(shù)據(jù)量大，且貼近網(wǎng)絡(luò)建設(shè)歸屬地，屬地應(yīng)用占比大；
- M/B/O及網(wǎng)絡(luò)/平臺之間數(shù)據(jù)松耦合，主要通過企業(yè)主數(shù)據(jù)進(jìn)行銜接。數(shù)據(jù)湖原生數(shù)據(jù)區(qū)和生產(chǎn)數(shù)據(jù)區(qū)與數(shù)據(jù)源系統(tǒng)就近分布式部署（總部1+省市31模式）。
- 生產(chǎn)數(shù)據(jù)云節(jié)點(diǎn)由生產(chǎn)系統(tǒng)按需分區(qū)、分片部署，即支撐生產(chǎn)應(yīng)用交易處理，也支撐實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)采集和應(yīng)用。
- 原生數(shù)據(jù)云節(jié)點(diǎn)與生產(chǎn)數(shù)據(jù)云節(jié)點(diǎn)就近、集中部署，靠近數(shù)據(jù)歸屬地，數(shù)據(jù)實(shí)時(shí)從生產(chǎn)數(shù)據(jù)云節(jié)點(diǎn)寫入原生數(shù)據(jù)云節(jié)點(diǎn)。原生數(shù)據(jù)云節(jié)點(diǎn)可再細(xì)分為核心數(shù)據(jù)區(qū)（如客戶、銷售品、產(chǎn)品、服務(wù)、資源、組織、人員等）、BSS數(shù)據(jù)區(qū)、OSS數(shù)據(jù)區(qū)、MSS數(shù)據(jù)區(qū)、網(wǎng)絡(luò)/平臺數(shù)據(jù)區(qū)。
數(shù)據(jù)湖整合、匯總數(shù)據(jù)云節(jié)點(diǎn)采用1+N模式部署，統(tǒng)一管理、控制和調(diào)度節(jié)點(diǎn)環(huán)境，兼顧全網(wǎng)統(tǒng)一和個(gè)性化應(yīng)用需求，數(shù)據(jù)科學(xué)家逐步探索和建模數(shù)據(jù)，開放數(shù)據(jù)應(yīng)用。1+N模式中的“1”支撐全網(wǎng)應(yīng)用，“N”支撐省內(nèi)應(yīng)用，并作為創(chuàng)新基地，有條件、數(shù)據(jù)量大、應(yīng)用豐富的省可選擇建設(shè)N分區(qū)。分區(qū)節(jié)點(diǎn)內(nèi)可按照應(yīng)用范圍（全局需求、特定需求）、地域歸屬（集團(tuán)、?。?、數(shù)據(jù)層次（整合、匯總）、數(shù)據(jù)分級（普通、密級）等進(jìn)一步分區(qū)存儲。電信運(yùn)營商數(shù)據(jù)湖部署方案示例如圖5所示。要點(diǎn)3：IT系統(tǒng)數(shù)據(jù)入湖數(shù)據(jù)湖的建設(shè)不可能一蹴而就，需要根據(jù)運(yùn)營商IT系統(tǒng)建設(shè)情況分別采用不同策略進(jìn)行數(shù)據(jù)入湖演進(jìn)。電信運(yùn)營商IT系統(tǒng)入湖方案示例如圖6所示。方式一：數(shù)據(jù)同步方式。適合交易型系統(tǒng)已存在、數(shù)據(jù)模型和主數(shù)據(jù)已全網(wǎng)統(tǒng)一的場景，生產(chǎn)數(shù)據(jù)直接同步寫入原生數(shù)據(jù)區(qū)，如BSS、MSS、傳統(tǒng)OSS。方式二：數(shù)據(jù)同步/轉(zhuǎn)換方式。適合交易型系統(tǒng)已存在、數(shù)據(jù)模型和主數(shù)據(jù)并未全網(wǎng)統(tǒng)一的場景，如BSS、MSS、傳統(tǒng)OSS。將非標(biāo)準(zhǔn)生產(chǎn)數(shù)據(jù)寫入原生數(shù)據(jù)區(qū)，支撐省內(nèi)整合匯總應(yīng)用及集團(tuán)標(biāo)準(zhǔn)的寬表需求；將非標(biāo)準(zhǔn)生產(chǎn)數(shù)據(jù)按全網(wǎng)統(tǒng)一標(biāo)準(zhǔn)轉(zhuǎn)換，提供給全網(wǎng)數(shù)據(jù)整合匯總及數(shù)據(jù)治理使用。方式三：數(shù)據(jù)正本方式。適合交易型系統(tǒng)新建模式，如新一代OSS資源、編排、告警等。正本數(shù)據(jù)寫入生產(chǎn)數(shù)據(jù)區(qū)，統(tǒng)一模型和主數(shù)據(jù)標(biāo)準(zhǔn)，基于交易型PaaS平臺完成應(yīng)用；生產(chǎn)數(shù)據(jù)區(qū)數(shù)據(jù)直接寫入原生數(shù)據(jù)區(qū)。方式四：采集入庫方式。適合網(wǎng)絡(luò)監(jiān)控分析型系統(tǒng)新建模式，如新一代OSS的網(wǎng)絡(luò)采集數(shù)據(jù)、資源拓?fù)?、深度分組檢測（DPI）數(shù)據(jù)等。數(shù)據(jù)采集文件、流數(shù)據(jù)等暫存在生產(chǎn)數(shù)據(jù)區(qū)；寫入原生數(shù)據(jù)區(qū)后，生產(chǎn)數(shù)據(jù)區(qū)不再保留；統(tǒng)一原生數(shù)據(jù)模型和主數(shù)據(jù)標(biāo)準(zhǔn)，基于實(shí)時(shí)和非實(shí)時(shí)PaaS平臺完成分析型應(yīng)用。要點(diǎn)4：數(shù)據(jù)湖數(shù)據(jù)與應(yīng)用分離數(shù)據(jù)湖通過數(shù)據(jù)服務(wù)平臺、數(shù)據(jù)共享平臺及統(tǒng)一數(shù)據(jù)應(yīng)用環(huán)境按需支持交易類、實(shí)時(shí)監(jiān)控類、分析類應(yīng)用。數(shù)據(jù)增、刪、改、查服務(wù)統(tǒng)一部署在數(shù)據(jù)服務(wù)平臺上，供交易類應(yīng)用訪問調(diào)用；通過訂閱需要監(jiān)控的數(shù)據(jù)，由數(shù)據(jù)共享平臺將數(shù)據(jù)實(shí)時(shí)分發(fā)給監(jiān)控類應(yīng)用使用；數(shù)據(jù)的加工整合、分析應(yīng)用、海量搜索、人工智能等應(yīng)用均可部署在應(yīng)用環(huán)境內(nèi)，按需動(dòng)態(tài)加載并臨時(shí)存儲數(shù)據(jù)，結(jié)果寫回到數(shù)據(jù)湖存儲環(huán)境，以服務(wù)方式啟動(dòng)任務(wù)和查詢結(jié)果數(shù)據(jù)。其中，應(yīng)用環(huán)境公共組件隨著技術(shù)的更新不斷疊加，逐漸平臺化共享，暫時(shí)無法滿足應(yīng)用需求的可由應(yīng)用在統(tǒng)一環(huán)境內(nèi)部署組件及加載數(shù)據(jù)。數(shù)據(jù)湖應(yīng)用加載數(shù)據(jù)的方式可分為實(shí)時(shí)增量加載、準(zhǔn)實(shí)時(shí)增量/全量加載、離線批量加載等，數(shù)據(jù)可按需全量或增量短期加載。對于應(yīng)用和數(shù)據(jù)無法解耦的組件（如Hive、MPP等），按需復(fù)制數(shù)據(jù)，以空間換數(shù)據(jù)管理和應(yīng)用的靈活性；對于應(yīng)用和數(shù)據(jù)可以有效解耦的組件（如Spark等），可以按需動(dòng)態(tài)、實(shí)時(shí)加載數(shù)據(jù)。應(yīng)用組件逐漸由與數(shù)據(jù)緊耦合的組件向與數(shù)據(jù)松耦合的組件演進(jìn)。數(shù)據(jù)湖采用讀寫分離、應(yīng)用計(jì)算與數(shù)據(jù)存儲分離、關(guān)系數(shù)據(jù)與非關(guān)系數(shù)據(jù)存儲并存的模式，并提供數(shù)據(jù)存儲節(jié)點(diǎn)分布式部署、服務(wù)化訪問及統(tǒng)一數(shù)據(jù)加載、共享及分發(fā)能力，降低數(shù)據(jù)湖數(shù)據(jù)存儲訪問負(fù)載，提升數(shù)據(jù)的可用性及數(shù)據(jù)訪問效率。由數(shù)據(jù)湖提供數(shù)據(jù)的統(tǒng)一遷移，包括主從庫的復(fù)制、關(guān)系庫到非關(guān)系庫的數(shù)據(jù)轉(zhuǎn)換等；提供統(tǒng)一的關(guān)系和非關(guān)系庫數(shù)據(jù)訪問及分布式數(shù)據(jù)路由以及數(shù)據(jù)共享開放和訂閱分發(fā)管理框架，實(shí)現(xiàn)高效的數(shù)據(jù)訪問；提供統(tǒng)一的數(shù)據(jù)應(yīng)用環(huán)境管理，包括配額管理、數(shù)據(jù)訪問權(quán)限管理、數(shù)據(jù)回寫節(jié)點(diǎn)分配管理等，獨(dú)立部署分析計(jì)算類應(yīng)用，分析計(jì)算節(jié)點(diǎn)與數(shù)據(jù)湖數(shù)據(jù)存儲節(jié)點(diǎn)分離；提供統(tǒng)一的分布式服務(wù)運(yùn)行框架，基于服務(wù)調(diào)用實(shí)現(xiàn)交易類增、刪、改、查應(yīng)用的數(shù)據(jù)訪問，避免直接操作數(shù)據(jù)。電信運(yùn)營商數(shù)據(jù)湖應(yīng)用方案示例如圖7所示。要點(diǎn)5：數(shù)據(jù)湖數(shù)據(jù)統(tǒng)一管理數(shù)據(jù)湖的實(shí)施，需要實(shí)現(xiàn)模型和主數(shù)據(jù)標(biāo)準(zhǔn)的動(dòng)態(tài)維護(hù)以及數(shù)據(jù)的集中治理，避免數(shù)據(jù)湖成為數(shù)據(jù)墓地。而數(shù)據(jù)來源眾多，數(shù)據(jù)管理需要依賴于多方的密切合作以及數(shù)據(jù)標(biāo)準(zhǔn)管理、目錄/元數(shù)據(jù)管理、應(yīng)用/服務(wù)管理、質(zhì)量等管理及海量數(shù)據(jù)探索分析等高效的管理工具。電信運(yùn)營商數(shù)據(jù)湖管理體系示例如圖8所示。電信運(yùn)營商數(shù)據(jù)涉及系統(tǒng)眾多、關(guān)系復(fù)雜，沒有任何一個(gè)獨(dú)立的團(tuán)隊(duì)能夠通曉所有的數(shù)據(jù)模型和關(guān)聯(lián)關(guān)系，因此需要企業(yè)數(shù)據(jù)管理團(tuán)隊(duì)與專業(yè)數(shù)據(jù)管理團(tuán)隊(duì)分工合作，共同完成數(shù)據(jù)模型標(biāo)準(zhǔn)/主數(shù)據(jù)的管理及數(shù)據(jù)集中治理。建立橫縱向一體化的數(shù)據(jù)管理體系，明確企業(yè)數(shù)據(jù)管理和原生數(shù)據(jù)部門職責(zé)分工，固化數(shù)據(jù)管理流程制度。企業(yè)數(shù)據(jù)管理團(tuán)隊(duì)負(fù)責(zé)統(tǒng)籌標(biāo)準(zhǔn)和主數(shù)據(jù)管理及數(shù)據(jù)治理工作，負(fù)責(zé)數(shù)據(jù)建模挖掘和跨專業(yè)數(shù)據(jù)治理協(xié)作，負(fù)責(zé)為業(yè)務(wù)部門和應(yīng)用開發(fā)者提供數(shù)據(jù)建模和平臺技術(shù)支持；專業(yè)數(shù)據(jù)管理團(tuán)隊(duì)負(fù)責(zé)建立專業(yè)數(shù)據(jù)的模型標(biāo)準(zhǔn)和管理主數(shù)據(jù)，識別數(shù)據(jù)問題及跟蹤處理；數(shù)據(jù)湖應(yīng)用開發(fā)者負(fù)責(zé)提出數(shù)據(jù)需求，按需整合和構(gòu)建應(yīng)用，反饋數(shù)據(jù)問題，評估數(shù)據(jù)變更影響。另外，作為企業(yè)最核心的數(shù)據(jù)資產(chǎn)，其全生命周期的安全管理非常重要。需要針對數(shù)據(jù)采集、數(shù)據(jù)存儲（生產(chǎn)數(shù)據(jù)、原生數(shù)據(jù)、整合數(shù)據(jù)、匯總數(shù)據(jù)）、數(shù)據(jù)應(yīng)用、數(shù)據(jù)服務(wù)、數(shù)據(jù)分發(fā)共享等環(huán)節(jié)構(gòu)建端到端的安全管控體系。對涉及用戶行為特征及關(guān)鍵信息的敏感數(shù)據(jù)進(jìn)行統(tǒng)一處理，脫敏后提供給應(yīng)用使用；不管是敏感數(shù)據(jù)還是非敏感數(shù)據(jù)，所有數(shù)據(jù)的直接訪問均在數(shù)據(jù)湖的管理范圍內(nèi)進(jìn)行，具體措施包括數(shù)據(jù)應(yīng)用環(huán)境、服務(wù)訪問環(huán)境、共享分發(fā)環(huán)境、數(shù)據(jù)存儲環(huán)境統(tǒng)一管控，需要經(jīng)過統(tǒng)一的對象和屬性等的鑒權(quán)才能訪問數(shù)據(jù)，數(shù)據(jù)不出數(shù)據(jù)湖（即數(shù)據(jù)訪問不出臺），只能使用服務(wù)化方式或經(jīng)過鑒權(quán)認(rèn)證的數(shù)據(jù)共享分發(fā)方式進(jìn)行數(shù)據(jù)訪問。同時(shí)需要對大數(shù)據(jù)安全事件具備閉環(huán)管控能力，增強(qiáng)數(shù)據(jù)安全事件快速分析能力，提升安全事件發(fā)
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào)。
