作者介紹
@草帽小子
畫像數(shù)據(jù)產(chǎn)品,專注于用戶畫像領(lǐng)域
書籍《大數(shù)據(jù)實踐之路:數(shù)據(jù)中臺+數(shù)據(jù)分析+產(chǎn)品應(yīng)用》核心作者
用戶畫像、BI、埋點等系列文章作者
“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。
00
導(dǎo)語
?
隨著企業(yè)數(shù)據(jù)爆炸式增長,企業(yè)在用數(shù)時,會存在數(shù)據(jù)孤島問題、數(shù)據(jù)建設(shè)不規(guī)范、指標(biāo)口徑不統(tǒng)一、數(shù)據(jù)查詢計算不穩(wěn)定、數(shù)據(jù)安全等問題。因而各個公司也開始了數(shù)據(jù)治理,推動數(shù)據(jù)規(guī)范建設(shè)及使用。
接下來草帽小子將開啟數(shù)據(jù)治理的系列篇,結(jié)合借鑒業(yè)界先進(jìn)的數(shù)據(jù)治理經(jīng)驗及個人工作實踐經(jīng)歷,幫助大家系統(tǒng)化地了解數(shù)據(jù)治理。
01
數(shù)據(jù)治理是干什么的
?
按照國際數(shù)據(jù)管理協(xié)會(DAMA)的定義,數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)的管理活動形式權(quán)利和控制的活動集合(規(guī)劃、監(jiān)控和執(zhí)行)。
按IBM的定義,數(shù)據(jù)治理是企業(yè)通過不同的策略和標(biāo)準(zhǔn),提高組織數(shù)據(jù)的可用性、質(zhì)量和安全性的一整套制度與管理活動,數(shù)據(jù)治理的目標(biāo)是維護(hù)安全且易于訪問的高質(zhì)量數(shù)據(jù),以獲取更深入的業(yè)務(wù)洞察。
名詞解釋:
元數(shù)據(jù):
描述數(shù)據(jù)的數(shù)據(jù),例如記錄數(shù)據(jù)的存儲位置、模型定義、血緣關(guān)系等信息,類似畫像
主數(shù)據(jù):
描述企業(yè)核心業(yè)務(wù)實體的數(shù)據(jù),例如客戶、產(chǎn)品、賬戶等,主數(shù)據(jù)具有較高的業(yè)務(wù)價值,可在企業(yè)內(nèi)跨各個業(yè)務(wù)部門被重復(fù)使用
草帽小子:數(shù)據(jù)治理要點是數(shù)據(jù)穩(wěn)定、規(guī)范、安全,就像蓋樓盤一樣,需要設(shè)計好樓盤架構(gòu),打好地基,制定建設(shè)規(guī)范,并推動各團(tuán)隊人員進(jìn)行搭建。
02
為什么要做數(shù)據(jù)治理
?
1
從發(fā)展階段,看數(shù)據(jù)治理的發(fā)展原因
第一階段:2005-2009年
2005年左右,早期的數(shù)據(jù)倉庫在中國興起,一開始主要由商業(yè)銀行、通信運營商主導(dǎo),隨后能源等行業(yè)企業(yè)加入。商業(yè)銀行通過與埃森哲、IBM等國外IT咨詢公司合作,最早將數(shù)據(jù)治理的概念在中國予以實踐。
數(shù)據(jù)倉庫建設(shè)涉及從不同來源的平臺中抽取數(shù)據(jù)并進(jìn)行整合,在這一過程中,需要確保數(shù)據(jù)質(zhì)量,包括數(shù)據(jù)口徑、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型統(tǒng)一等。通過數(shù)據(jù)治理,建立起數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型等管理體系,能夠提升數(shù)據(jù)質(zhì)量,確保數(shù)據(jù)倉庫建設(shè)順利推進(jìn),進(jìn)而能夠更好地支撐起B(yǎng)I等數(shù)據(jù)分析型應(yīng)用。
草帽小子:數(shù)據(jù)治理的發(fā)展階段與大數(shù)據(jù)的發(fā)展息息相關(guān),只要涉及大數(shù)據(jù)建設(shè),就勢必有數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等問題。
第二階段:2010-2014年
這一階段的數(shù)據(jù)治理需求主要集中于銀行業(yè),主要由監(jiān)管政策驅(qū)動。為了推動中國銀行參加到國際清算體系中,2011年中國推出《銀行監(jiān)管統(tǒng)計數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)》,該標(biāo)準(zhǔn)從組織機構(gòu)及人員、制度建設(shè)、系統(tǒng)保障和數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量的監(jiān)控、檢查與評價、應(yīng)用和存儲等方面對銀行數(shù)據(jù)治理提出要求。
草帽小子:銀行等金融機構(gòu),對底層數(shù)據(jù)質(zhì)量的要求更高,并面臨著一定的監(jiān)管壓力,勢必需要數(shù)據(jù)治理
第三階段:2015-2018年
2015年左右,企業(yè)興起了大數(shù)據(jù)平臺的建設(shè),并且到2018年,數(shù)據(jù)中臺概念流行,數(shù)據(jù)中臺中包含統(tǒng)一資產(chǎn)管理、統(tǒng)一數(shù)據(jù)元管理等與數(shù)據(jù)治理相關(guān)的內(nèi)容。在這個階段,越來越多的企業(yè)開始搭建數(shù)據(jù)治理的專職團(tuán)隊。
2018年,中國銀保監(jiān)會發(fā)布《銀行業(yè)金融機構(gòu)數(shù)據(jù)治理指引》,包含數(shù)據(jù)治理架構(gòu)、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)價值實現(xiàn)。
第四階段:2019年-至今
2019年以來,企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入快車道,在這一階段,數(shù)據(jù)治理已內(nèi)化成為企業(yè)機制建設(shè)的一部分。
如2020年9月,國資委發(fā)布的《關(guān)于加快推進(jìn)國有企業(yè)數(shù)字化轉(zhuǎn)型工作的通知》,針對央企數(shù)字化轉(zhuǎn)型工作,明確提出構(gòu)建數(shù)據(jù)治理體系的要求。包含明確數(shù)據(jù)治理歸口管理部門,加強數(shù)據(jù)標(biāo)準(zhǔn)化、元數(shù)據(jù)和主數(shù)據(jù)管理工作,定期評估數(shù)據(jù)治理能力成熟度。加強生產(chǎn)現(xiàn)場、服務(wù)過程等動態(tài)數(shù)據(jù)采集,建立覆蓋全業(yè)務(wù)鏈條的數(shù)據(jù)采集、傳輸和匯聚體系。
草帽小子:國家層面推動國有企業(yè)數(shù)據(jù)化,國有企業(yè)會逐步建設(shè)數(shù)據(jù)平臺并進(jìn)行數(shù)據(jù)治理,企業(yè)對數(shù)據(jù)人才的需求仍會不斷增多。
在包括金融、通信、能源、制造等數(shù)據(jù)治理開展相對成熟的行業(yè),較多企業(yè)都已設(shè)置數(shù)據(jù)治理的專職部門和崗位,而且越是數(shù)據(jù)治理成熟的企業(yè),專職部門越是靠近業(yè)務(wù)側(cè),且專職部門級別越高。
2021年工信部發(fā)布的《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》,以釋放數(shù)據(jù)要素價值為導(dǎo)向,加強數(shù)據(jù)高質(zhì)量治理。
2
從現(xiàn)狀問題看數(shù)據(jù)治理對企業(yè)的價值
我們來看阿里云dataworks團(tuán)隊,在數(shù)據(jù)建設(shè)推進(jìn)與應(yīng)用中遇到的階段性問題。
起步階段:數(shù)據(jù)量與穩(wěn)定性的矛盾
隨著數(shù)據(jù)量的增長,數(shù)據(jù)穩(wěn)定性不足,任務(wù)調(diào)度隨著規(guī)模增大經(jīng)常掛掉,集群計算資源不足,問題處理時間長。
應(yīng)用階段:數(shù)據(jù)普惠與使用效率的矛盾
在數(shù)據(jù)應(yīng)用時,使用數(shù)據(jù)的人增多,數(shù)倉人員疲于取數(shù),數(shù)據(jù)團(tuán)隊壓力增大,數(shù)倉建設(shè)會逐步變得混亂,反而會阻礙后續(xù)使用數(shù)據(jù)效率。
規(guī)模階段:靈活便捷與風(fēng)險管控
數(shù)據(jù)出口多,人為泄露行為管控難,安全保障有待提高,各類數(shù)據(jù)安全的管理動作,往往會與效率背道而馳,數(shù)據(jù)分類分級難度高。
成熟階段:業(yè)務(wù)變化與成本治理的矛盾
數(shù)據(jù)成本壓力大,不知道數(shù)據(jù)成本在哪,數(shù)據(jù)不敢刪、任務(wù)不敢下。
草帽小子:國有企業(yè)在政策的指引下,逐漸推動數(shù)字化轉(zhuǎn)型、數(shù)據(jù)治理;私營企業(yè)在業(yè)務(wù)數(shù)據(jù)不斷增長的驅(qū)動下,逐漸推動數(shù)據(jù)治理。
3
不同類型企業(yè)如何做數(shù)據(jù)治理
傳統(tǒng)企業(yè)的數(shù)據(jù)治理跟數(shù)字化轉(zhuǎn)型息息相關(guān),數(shù)據(jù)治理動作往往融入了數(shù)據(jù)化建設(shè)的每個環(huán)節(jié)中。
01 互聯(lián)網(wǎng)
以阿里為例,阿里建設(shè)社dataworks大數(shù)據(jù)開發(fā)治理平臺,建設(shè)的能力包括指標(biāo)數(shù)倉規(guī)范設(shè)計、數(shù)據(jù)分析、元數(shù)據(jù)管理、數(shù)據(jù)安全管理等能力。
02 能源
包含煤炭、電力、光伏、電站等,如國家電網(wǎng)、中石化等。
能源行業(yè)如電力的數(shù)據(jù)治理,不能單純以數(shù)據(jù)質(zhì)量、血緣分析、元數(shù)據(jù)管理等傳統(tǒng)IT技術(shù)為主,需要在數(shù)據(jù)治理中緊密結(jié)合業(yè)務(wù),與各個業(yè)務(wù)環(huán)節(jié)緊密配合。
例如:設(shè)備檢修:電網(wǎng)公司通過對設(shè)備運行的海量數(shù)據(jù)挖掘,開展預(yù)測性檢修的研究,以較高的準(zhǔn)確率預(yù)測出設(shè)備運行的未來狀態(tài),預(yù)判設(shè)備發(fā)生故障的可能性,從而達(dá)到基于設(shè)備狀態(tài)來指導(dǎo)檢修的目的。
常見的挑戰(zhàn),包含:
1. 數(shù)據(jù)類型多:電力行業(yè)廣泛部署的物聯(lián)網(wǎng)設(shè)備,產(chǎn)生了格式不同、頻率不同、定義不同的多源異構(gòu)數(shù)據(jù)
2. 海量數(shù)據(jù),時效性強:電力的產(chǎn)生、傳輸與消費情況瞬息萬變,片刻間便能產(chǎn)生海量的數(shù)據(jù)資源,如何及時獲取、可靠存儲、快速計算?
3. 數(shù)據(jù)鏈路長:能源價值鏈整合的參與者眾多,價值活動之間存在緊密聯(lián)系,各方數(shù)據(jù)交互標(biāo)準(zhǔn)、質(zhì)量、規(guī)范如何有效把握?
關(guān)鍵治理方式,包含:
1. 自動采集各類數(shù)據(jù)資產(chǎn)信息:根據(jù)不同的數(shù)據(jù)源,開發(fā)不同的采集適配器,實現(xiàn)不同種類的數(shù)據(jù)自動化采集
2. 全面管理企業(yè)數(shù)據(jù)資產(chǎn):在實現(xiàn)企業(yè)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、模型元數(shù)據(jù)的全面采集后,企業(yè)做好整體數(shù)據(jù)資產(chǎn)的梳理、數(shù)據(jù)質(zhì)量的管理
3. 數(shù)據(jù)資產(chǎn)服務(wù)化:提供自助查詢服務(wù)、自動獲取數(shù)據(jù)服務(wù)
03 金融
金融數(shù)據(jù)治理是金融行業(yè)數(shù)字化轉(zhuǎn)型的重要切入點,也是推動金融業(yè)從高速增長向高質(zhì)量發(fā)展轉(zhuǎn)變的關(guān)鍵點。銀保監(jiān)會發(fā)布的《銀行金融機構(gòu)數(shù)據(jù)治理指引》,從數(shù)據(jù)治理團(tuán)隊、數(shù)據(jù)管理的標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)價值實現(xiàn)等方面展開。
金融數(shù)據(jù)治理的常見的挑戰(zhàn),包含:
1. 數(shù)據(jù)價值發(fā)現(xiàn)和數(shù)據(jù)信息保護(hù)的矛盾:《數(shù)據(jù)安全法》、《個人信息保護(hù)法》陸續(xù)實施,要求金融從業(yè)機構(gòu)將個人客戶信息安全、隱私保護(hù),貫穿在數(shù)據(jù)采集與應(yīng)用的全過程。
2. 金融如銀行機構(gòu),存在各地分行多,經(jīng)營數(shù)據(jù)割裂,數(shù)據(jù)流通困難等問題
關(guān)鍵治理方式,
治理服務(wù)化:
管理理念轉(zhuǎn)為服務(wù)理念,通過提供便利的工具或服務(wù),全面為業(yè)務(wù)提供服務(wù)
治理流程化:
結(jié)合開發(fā)流程,將數(shù)據(jù)模型、數(shù)據(jù)字典管理流程化,從數(shù)據(jù)源頭落實數(shù)據(jù)標(biāo)準(zhǔn)
治理場景化:
與監(jiān)管報送相結(jié)合,全流程監(jiān)控報送質(zhì)量
標(biāo)準(zhǔn)開放化:
構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)運營體系,探索更多開放共享場景,應(yīng)用數(shù)據(jù)治理成果
資產(chǎn)智能化:
構(gòu)建智能數(shù)據(jù)資產(chǎn)管理,結(jié)合先進(jìn)技術(shù),全面釋放數(shù)據(jù)價值
4
數(shù)據(jù)人才的機會
在國家推動企業(yè)數(shù)字化轉(zhuǎn)型的趨勢下,不僅僅是互聯(lián)網(wǎng)企業(yè)需要進(jìn)行數(shù)據(jù)人才,較多傳統(tǒng)企業(yè)包括能源、通信、金融、制造等也需數(shù)據(jù)人才。
企業(yè)信息化、數(shù)據(jù)化的程度不同,所面臨的問題也不同,所需數(shù)據(jù)人才的能力側(cè)重點也會有所差異。但在整體數(shù)字化推進(jìn)時,也會需要一定的通用能力,如數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)計算、數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用等。
因而,個人在工作實踐上,可不斷增長對大數(shù)據(jù)平臺,各個模塊的實踐與了解,盡可能掌握整個大數(shù)據(jù)體系;同時可放眼外界,多對比了解不同行業(yè)的數(shù)字化建設(shè)差異。
后續(xù)草帽小子將持續(xù)寫數(shù)據(jù)治理的系列文章,歡迎小伙伴們關(guān)注與交流~