全文將圍繞以下兩個方面展開介紹:
1. 數(shù)據(jù)治理建設路徑
2. 數(shù)據(jù)治理實踐分享
分享嘉賓|汪歡 滴普科技 高級解決方案架構師
編輯整理|吳葉國
出品社區(qū)|DataFun
01
數(shù)據(jù)治理建設路徑
1. 業(yè)務數(shù)字化的目的是打造一體化的業(yè)務流、信息流與數(shù)據(jù)流
從企業(yè)整體經(jīng)營管理的角度,戰(zhàn)略制定及分解—領域業(yè)務目標制定—業(yè)務方案設計—業(yè)務需求識別 & 信息系統(tǒng)功能及數(shù)據(jù)庫設計—數(shù)據(jù)匯聚及分析—業(yè)務目標監(jiān)測及改善,這個過程會有層層信息耗散,全局數(shù)據(jù)治理的目的就是利用體系機制保障最大程度減少這個耗散或補足耗散的部分,讓數(shù)據(jù)盡可能的還原企業(yè)的業(yè)務事實。
企業(yè)在 IT 規(guī)劃過程中,首先會做業(yè)務流梳理,表現(xiàn)為流程架構、價值流或者能力框架;業(yè)務流中的相關信息流轉,如表、證、單、書等,稱之為信息流;信息流中識別出數(shù)據(jù)對象,梳理數(shù)據(jù)關系,可以指導數(shù)字化系統(tǒng)建設。
但是企業(yè)在實際開展數(shù)字化過程中,人力資源、采購、生產(chǎn)、研發(fā)等每個領域都會有數(shù)字化訴求。業(yè)務人員和 IT 人員通過分析應用訴求,把業(yè)務流轉和應用需求相結合,進行數(shù)據(jù)設計,進而形成新系統(tǒng)。因為 IT 建設是逐步開展的,業(yè)務人員的視角不同,實施人員和數(shù)據(jù)開發(fā)人員的理解各異,最終每個系統(tǒng)都會對數(shù)據(jù)有自己的局部理解,因此簡單的把人力資源、采購、生產(chǎn)、研發(fā)等存量信息系統(tǒng)里面的數(shù)據(jù)拼到一起,是無法構建出反映企業(yè)業(yè)務本質(zhì)的數(shù)據(jù)流或者數(shù)據(jù)孿生模型的。
數(shù)字化的數(shù)據(jù)如果無法反映業(yè)務全貌,那基于這些數(shù)據(jù)進行加工也不可能得到正確的結果,因此需要通過對業(yè)務的理解進行數(shù)據(jù)治理。
數(shù)據(jù)治理是從業(yè)務流到信息流、數(shù)據(jù)流、數(shù)據(jù)庫表的流轉。業(yè)務系統(tǒng)中的物理表字段,哪怕短期內(nèi)由于無法改變業(yè)務系統(tǒng)不能完成源頭治理,也要在數(shù)倉的 ODS 層完成治理,形成能還原業(yè)務本質(zhì)的數(shù)據(jù)映象。
數(shù)據(jù)映象描述的是業(yè)務過程中的業(yè)務細節(jié)。企業(yè)經(jīng)營中戰(zhàn)略分解到各業(yè)務部門的經(jīng)營目標都會有相關的考核指標。如果數(shù)據(jù)映象是真實的,那基于指標體系做的業(yè)務分析就能更真實反應業(yè)務階段結果,達成企業(yè)業(yè)務流、信息流、數(shù)據(jù)流的一致性,支撐企業(yè)從戰(zhàn)略規(guī)劃到目標分解的監(jiān)控,最終實現(xiàn)數(shù)據(jù)價值的呈現(xiàn)。
總結來說,整個數(shù)據(jù)治理的核心動作分為兩個部分,一個是業(yè)務數(shù)據(jù)的治理(形成真實數(shù)據(jù)映像),另一個是分析體系的治理(基于數(shù)據(jù)映像面向管控目標做合理性的分析結構設計及實現(xiàn))。
2. 典型的企業(yè)數(shù)字平臺框架
典型企業(yè)的數(shù)字平臺框架如上圖所示。
(1)業(yè)務系統(tǒng)作為局部數(shù)據(jù)映象或數(shù)據(jù)源。
(2)數(shù)據(jù)中臺做全面的數(shù)據(jù)匯聚與建模,數(shù)據(jù)中臺基于貼源層、明細層、匯總層、應用層進行分層,面向分析型需求由開發(fā)人員進行數(shù)據(jù)建模。
(3)自助式數(shù)據(jù)消費是面向業(yè)務分析師或者有一定業(yè)務理解能力的開發(fā)人員,他們會自助式的基于成熟的模型進行組裝式的開發(fā)。
(4)智能決策包括駕駛艙、可視建模和智能應用等。
從業(yè)務數(shù)據(jù)系統(tǒng)的數(shù)據(jù)源到分層的數(shù)據(jù)建模以及數(shù)據(jù)消費的全過程,需要一系列的管理機制,包括數(shù)據(jù)標準、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量以及管理流程和機制,形成了一套體系化、規(guī)范化的方法,保證整個鏈路的暢通。
3. 對數(shù)據(jù)治理核心內(nèi)容的理解
滴普對理解的數(shù)據(jù)治理核心內(nèi)容包括三塊:數(shù)據(jù)治理體系設計,業(yè)務數(shù)據(jù)深化治理,分析數(shù)據(jù)體系設計。
(1)數(shù)據(jù)治理體系設計
數(shù)據(jù)治理體系設計主要涉及數(shù)據(jù)架構、數(shù)據(jù)標準、主數(shù)據(jù)等該如何進行治理動作管理。首先基于業(yè)務系統(tǒng)和分析系統(tǒng)現(xiàn)狀,梳理一套機制并把該機制固化起來,但這只是一套文檔和理想態(tài)機制,需要與業(yè)務數(shù)據(jù)及分析數(shù)據(jù)體系的實際開展動作進行結合細化;同時建立聯(lián)合團隊一起進行一些專業(yè)性的數(shù)據(jù)治理活動,如建立數(shù)據(jù)目錄、數(shù)據(jù)標準等,構建數(shù)據(jù)管理內(nèi)容的同步將能力轉移并固化在甲方身上。本質(zhì)上是通過體制機制、流程文件去固化企業(yè)的專項數(shù)據(jù)能力,以將數(shù)據(jù)治理作為一項持續(xù)性的工作開展下去。
當然也會涉及到數(shù)據(jù)管理組織的設計,組織設計是相對可大可小的事情,因為會涉及到數(shù)據(jù)資產(chǎn)權限,業(yè)務部門,IT 部門等平臺部門。
(2)業(yè)務數(shù)據(jù)深化治理
這部分包括幾個比較核心的工作:
第一、 數(shù)據(jù)資產(chǎn)目錄
梳理方法上有自上而下、自下而上兩個方向。
自上而下:基于業(yè)務鏈條去識別每一個業(yè)務領域,比如制造、研發(fā)、生產(chǎn)、采購等的關鍵信息,這些信息有可能已經(jīng)在 IT 系統(tǒng)有留存,也有可能是一個線下紙質(zhì)的表單。數(shù)據(jù)資產(chǎn)目錄構建要描述企業(yè)全部數(shù)據(jù)要素,但是系統(tǒng)的建設一定是落后于企業(yè)的管理訴求的,所以不能只是梳理企業(yè)既有的 IT 平臺里的數(shù)據(jù)要素,需要基于整個業(yè)務鏈條去梳理企業(yè)的數(shù)據(jù)要素,構建數(shù)據(jù)資產(chǎn)目錄、進行分級分類。
自下而上:因為單純基于業(yè)務鏈條有些業(yè)務細節(jié)可能會被忽略,所以需要基于存量的 IT 系統(tǒng)的數(shù)據(jù)庫表進行盤點和映射作為補充。
通過自上而下從業(yè)務出發(fā),自下而上從數(shù)據(jù)庫表出發(fā),可以得到相對近似于企業(yè)數(shù)據(jù)資產(chǎn)全貌的數(shù)據(jù)資產(chǎn)目錄。數(shù)據(jù)資產(chǎn)目錄厘清了企業(yè)的業(yè)務數(shù)據(jù)資產(chǎn),它有兩個用途:
① 構建業(yè)務友好的數(shù)據(jù)地圖。數(shù)據(jù)資產(chǎn)結構劃分是基于業(yè)務線構建的,會形成對業(yè)務非常友好的可視結構。不論是當前 IT 系統(tǒng)的庫表結構,還是識別出的數(shù)據(jù)對象實體以及未來的指標標簽都可以和它進行關聯(lián)??梢越o業(yè)務人員提供友好的數(shù)據(jù)資產(chǎn)入口,同時支撐高階的數(shù)據(jù)分析人員及數(shù)據(jù)開發(fā)人員找數(shù)。
② 劃分責任田。如果企業(yè)是自上而下進行業(yè)務梳理的,會有從業(yè)務域到業(yè)務子域到整個業(yè)務對象的目錄映射,可以很容易的找到每一個數(shù)據(jù)的責任人,當出現(xiàn)一些數(shù)據(jù)標準、跨領域的數(shù)據(jù)爭議的時候,可以起到劃分責任田的作用。
第二、數(shù)據(jù)模型
通過數(shù)據(jù)目錄可以知道有多少數(shù)據(jù)資產(chǎn),通過數(shù)據(jù)模型可以知道數(shù)據(jù)對象之間的關系。
數(shù)據(jù)模型包括概念模型、邏輯模型和物理模型。治理項目初始完成概念模型,只有對象和對象之間的關系,后續(xù)需持續(xù)進行邏輯模型的建設(加入主外鍵、關鍵屬性)。在做專題的主數(shù)據(jù)治理需要實現(xiàn)數(shù)據(jù)清潔干凈,提升質(zhì)量,其中深化的邏輯模型設計是其重要支撐。
第三、數(shù)據(jù)標準設計
數(shù)據(jù)標準應該是面向未來的業(yè)務需求去設計的,其不只是存量的字段長度、表結構,還包括業(yè)務規(guī)則、業(yè)務含義、業(yè)務的管理角色等相關標準。有的數(shù)據(jù)標準是面向增量數(shù)據(jù)結構的,比如可以用數(shù)據(jù)標準去約束數(shù)倉內(nèi)的增量的數(shù)據(jù)變更或者新增的 IT 系統(tǒng)的數(shù)據(jù)結構。但是對于存量系統(tǒng)來說,其數(shù)據(jù)結構可能和數(shù)據(jù)標準存在差異,如果強制存量 IT 系統(tǒng)修改,短時間是不可行的,通??梢酝ㄟ^建立映射關系解決,以兼顧業(yè)務連續(xù)性需求及面向未來業(yè)務的合理性。
第四、數(shù)據(jù)分布定義
盤點數(shù)據(jù)標準在存量的業(yè)務系統(tǒng)包括數(shù)倉內(nèi)的分布情況。有些分布會極其復雜,如有的制造業(yè)企業(yè)有七八十個系統(tǒng),每個系統(tǒng)各管一個業(yè)務段,數(shù)據(jù)分布相當繁雜,可能單一屬性分布在十幾個系統(tǒng)和幾十張表中。
識別完數(shù)據(jù)分布以后,還要識別可信數(shù)據(jù)源。比如從 20 個數(shù)據(jù)源里面定義 TOP5 的可信數(shù)據(jù)源,TOP5 的可信數(shù)據(jù)源里面,可能建立交集、并集、篩除等關系。
第五、數(shù)據(jù)質(zhì)量改善
開展專項數(shù)據(jù)治理,一方面是標準比對;另一方面,對主數(shù)據(jù)和主數(shù)據(jù)相關的重要交易數(shù)據(jù)做關鍵屬性洞察。
通過業(yè)務資產(chǎn)梳理,可以收集業(yè)務人員以及 IT 人員遇到的問題和困難,并對其進行根因分析,制定數(shù)據(jù)探查的規(guī)則以識別數(shù)據(jù)問題。再進一步分析這些問題到底是業(yè)務問題、數(shù)據(jù)流轉的問題、系統(tǒng)應用功能問題,還是數(shù)據(jù)結構和數(shù)據(jù)標準本身執(zhí)行不到位的問題,并給出改善建議。如短期內(nèi)通過映射關系解決,長期內(nèi)希望通過業(yè)務及數(shù)據(jù)管理動作進行改善,因為業(yè)務及數(shù)據(jù)管理動作才是數(shù)據(jù)質(zhì)量產(chǎn)生的源頭。
(3)分析數(shù)據(jù)體系設計
分析數(shù)據(jù)體系分為兩個部分。
第一、厘清分析數(shù)據(jù)資產(chǎn)
包括兩部分:
① 指標管理體系。首先做存量分析建設,存量就是各個業(yè)務部門已經(jīng)在使用的系統(tǒng)、報表、指標,同一個指標可能有多個部門在用。將這些指標收集起來,做結構化、標準化,包括指標的聚合、收斂、規(guī)則定義,叫做指標存量標準化設計。
② 運營績效指標設計。如果企業(yè)本身處于管理變革階段,單個領域業(yè)務方向的變化會牽引出新的考核體系??梢曰谇罢靶缘目己梭w系設計一套指標體系,牽引管理變革落地的方向。另外,一些行業(yè)實踐的成套體系的指標可以借鑒(例如 IPD、MTL),進行企業(yè)內(nèi)部管理的優(yōu)化,這些內(nèi)容屬于運營績效指標設計。
第二、數(shù)據(jù)能力供給設計
分析數(shù)據(jù)體系除去指標,還有比如標簽、算法模型,如制造業(yè)的庫存優(yōu)化分析等算法模型、車聯(lián)網(wǎng)的充電模型等高階數(shù)據(jù)應用的設計,定義為數(shù)據(jù)能力供給設計。
4. 數(shù)據(jù)治理開展路徑
數(shù)據(jù)治理開展路徑,有如下的兩部分組成:
第一部分,治理活動。
首先以數(shù)據(jù)盤點為切入點,形成覆蓋企業(yè)業(yè)務全域的數(shù)據(jù)資產(chǎn)地圖。數(shù)倉一般是按照 FSLDM 模型的理念構建,雖然對于開發(fā)人員非常友好但是對業(yè)務的可讀性相對較低,必須基于業(yè)務友好的視角做數(shù)據(jù)盤點和建立高可讀性的資產(chǎn)地圖。
資產(chǎn)地圖首先需要做資產(chǎn)的價值排序和痛點排序以確定哪些資產(chǎn)優(yōu)先治理。排序有兩種視角,一種是按主題,比如客戶主數(shù)據(jù),供應商主數(shù)據(jù)以及和它相關的重要的數(shù)據(jù);還有一種是按業(yè)務域,比如采購域、生產(chǎn)域、財務域。
資產(chǎn)地圖的進一步的治理是做標準化、質(zhì)檢改善。以采購域為例,做采購域的數(shù)據(jù)標準的設計,做存量和增量的映射和規(guī)則的執(zhí)行。完成后,單域的數(shù)據(jù)質(zhì)量和清潔度都得到提升,然后基于數(shù)據(jù)標準約束信息系統(tǒng)的改造。從分析側來說,前端數(shù)據(jù)整合規(guī)則的高質(zhì)量定義可以極大的減輕定位數(shù)據(jù)、ETL 清洗、ODS 層到明細層的設計工作。
最后一步是數(shù)據(jù)的共享分發(fā)和數(shù)據(jù)分析場景的建設。共享分發(fā)可以是基于原生的業(yè)務形態(tài)、業(yè)務系統(tǒng)數(shù)據(jù)的分發(fā),也可以是指標、報表、標簽的分發(fā)。
第二部分,外部賦能。
首先搭建數(shù)據(jù)治理體系框架。第一步建立組織,比如先找到資產(chǎn)管理員、數(shù)據(jù)平臺管理員、業(yè)務分析師這樣三個角色,就可以啟動一些核心的活動,把相關的制度模板,如數(shù)據(jù)共享、數(shù)據(jù)權屬設計、增量數(shù)據(jù)的標準約束和審批流程等體系框架搭建起來。
數(shù)據(jù)治理體系框架搭建后,進行數(shù)據(jù)資產(chǎn)的盤點,完全域數(shù)據(jù)資產(chǎn)盤點是迭代更新的過程。數(shù)據(jù)資產(chǎn)是為了反映業(yè)務的數(shù)字映像,因為業(yè)務會發(fā)生變化,所以需要沉淀能力形成一套方法和模板。后面每隔一定時間迭代一次,根據(jù)業(yè)務環(huán)節(jié)產(chǎn)生的業(yè)務變化刷新資產(chǎn)目錄。
有了體系框架、數(shù)據(jù)架構和方法賦能,就可以開展重點專題的治理,比如從 L3 業(yè)務對象(概念實體)的識別,到邏輯側及物理側的映射,最后在價值呈現(xiàn)上做指標算法、數(shù)據(jù)共享機制構建(需要數(shù)據(jù)管理平臺和數(shù)據(jù)應用平臺支撐)。
5. 業(yè)務數(shù)據(jù)治理工作的起點-數(shù)據(jù)資產(chǎn)盤點
數(shù)據(jù)治理工作的核心抓手是數(shù)據(jù)資產(chǎn),所有的標準、質(zhì)量、安全都是構建在數(shù)據(jù)資產(chǎn)上面的。
以某制造業(yè)數(shù)據(jù)資產(chǎn)盤點為例,它的生產(chǎn)過程,從新產(chǎn)品導入、生產(chǎn)計劃、制造過程,工藝管理、物流倉儲交付到產(chǎn)品退貨,構成了生產(chǎn)域。通過生產(chǎn)運營的業(yè)務活動識別出關鍵的信息對象,稱為業(yè)務對象。
L1 可以復制企業(yè)的自然職能領域,如果企業(yè)的流程 IT 部門有業(yè)務架構或者是流程架構,可以直接參考其結構,便于業(yè)務人員的感知;L2 基于每個業(yè)務過程識別出來對象進行偏向于數(shù)據(jù)本身的聚合,既考慮業(yè)務可識別性,又考慮數(shù)據(jù)本身的聚合性。
在梳理資產(chǎn)目錄過程中,根據(jù)對象和業(yè)務的關系可以比較粗顆粒的畫出對象之間的關系,稱為概念模型,它僅有 1:1、N:N、 1:N 的三種關系,不承載實體和屬性。基于概念模型,我們可以衍生出細分領域的邏輯模型和物理模型設計。
存量信息系統(tǒng)中,有了數(shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)之間的關系后,還需要統(tǒng)計數(shù)據(jù)在信息系統(tǒng)之間的分布以及數(shù)據(jù)在整個業(yè)務域的流向圖。
數(shù)據(jù)資產(chǎn)盤點是整個數(shù)據(jù)工作的核心抓手和起點。
6. 針對重點領域-分階段開展數(shù)據(jù)資產(chǎn)深化定義
數(shù)據(jù)資產(chǎn)目錄到 L3 層是業(yè)務分類結構,如上圖從銷售、零售管理到客戶,是業(yè)務人員一看就明晰的結構。
但 L3 層是一個偏概念性的東西,需要填充更多的屬性形成邏輯實體。也就是將概念實體切割成邏輯實體和邏輯屬性。
再往下就是物理表的映射。邏輯實體和存量的物理表的區(qū)別在于,邏輯實體在業(yè)務側承載更多的業(yè)務細節(jié),但是系統(tǒng)表的數(shù)據(jù)結構設計還有性能上的考慮,數(shù)據(jù)庫的性能、讀寫的性能、以及冗余字段。
7. 基于數(shù)據(jù)資產(chǎn)目錄的數(shù)據(jù)認責
不論是數(shù)據(jù)平臺還是數(shù)據(jù)資產(chǎn)的目錄結構,都會關心數(shù)據(jù)資產(chǎn)認責,數(shù)據(jù)的所有者是誰,數(shù)據(jù)的變更需要找誰,需要進行相應角色的定義,比如業(yè)務數(shù)據(jù)的定義責任人,系統(tǒng)管理責任人,數(shù)據(jù)錄入責任人,并形成類似這樣一個矩陣表。
責任人的認定,在業(yè)務數(shù)據(jù),到屬性級別是比較理想的顆粒度。但是屬性級別設置責任人可能設置工作比較繁重,所以實際在開展的時候,一般會在 L3 層設置它的管理權責。如果短時間內(nèi)涉及到一些比較復雜、跨領域的數(shù)據(jù),或者權責難以厘清的數(shù)據(jù),我們可以再往上推到 L2 層去定義,后續(xù)看情況再細化。
8. 數(shù)據(jù)治理的落地平臺支撐
以上是數(shù)據(jù)治理的開展路徑以及核心的數(shù)據(jù)資產(chǎn)工作部分。數(shù)據(jù)資產(chǎn)目錄設計、數(shù)據(jù)模型、數(shù)據(jù)標準,這些數(shù)據(jù)管理動作需要有一個 IT 平臺去落地,滴普提供一站式的數(shù)據(jù)智能服務的平臺,包括從數(shù)據(jù)集成到數(shù)據(jù)治理(數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等),數(shù)據(jù)資源的開放和共享。
--
02
數(shù)據(jù)治理實踐
下面是一些案例的介紹。
1. 某食品加工企業(yè)報表應用驅動的數(shù)據(jù)治理咨詢交付路徑
客戶的 CIO 本身有多年頭部咨詢公司的 IT 咨詢規(guī)劃經(jīng)歷,對企業(yè)信息化及數(shù)據(jù)管理有比較深的理解,為了兼顧企業(yè)長期的數(shù)據(jù)治理能力構建及中短期的業(yè)務價值體驗,所以這個項目就分成了兩個部分。
(1)數(shù)據(jù)治理體系設計。包括現(xiàn)狀診斷及體制機制設計,以及前面講到的數(shù)據(jù)目錄構建、標準設計,屬于業(yè)務數(shù)據(jù)治理。
(2)指標體系的設計。指標體系對比較核心的管理部門,做全量指標體系的盤點和結構化、標準化的設計。針對某一個比較強勢有價值承接的業(yè)務板塊,做指標的定義和拆解,在物理表上做面向大屏的主題專題庫的設計。
這里可以理解為兩塊,一塊用來在業(yè)務側呈現(xiàn)價值,另一塊是通過數(shù)據(jù)定義和設計去支撐指標的高質(zhì)量實現(xiàn)。這樣既實現(xiàn)了業(yè)務部門可感知的價值,又實現(xiàn)了 IT 部門基于長遠考慮的夯實數(shù)據(jù)治理基礎目的。
2. 某制造企業(yè)數(shù)據(jù)治理的起點-數(shù)據(jù)盤點 & 治理體系設計
該制造企業(yè)是一個整車制造商,這些年做了很多數(shù)據(jù)治理的項目,這個體系設計&數(shù)據(jù)盤點項目是他們整個體系的起點。
在項目之前,客戶做過主數(shù)據(jù)項目一期,但是他們比較關心的客戶主數(shù)據(jù),主數(shù)據(jù)下面是有數(shù)據(jù)標準、數(shù)據(jù)模型,包括全鏈路的數(shù)據(jù)關系。兩三年后,企業(yè)的系統(tǒng)變了,業(yè)務也發(fā)生一些變化,以前做的主數(shù)據(jù)就有了很大的偏差。需要一套數(shù)據(jù)治理體系進行持續(xù)數(shù)據(jù)治理運營,所以就啟動了這個數(shù)據(jù)規(guī)范化的項目。
客戶在這個項目做兩件事,一個是數(shù)據(jù)治理標準化體系構建,包括標準設計、模型構建、數(shù)據(jù)質(zhì)量管理、流程和組織設計等。還有一個是數(shù)據(jù)目錄設計,做全公司范圍的數(shù)據(jù)資產(chǎn)盤點到 L3 級的業(yè)務對象,作為后續(xù)數(shù)據(jù)治理持續(xù)開展的路徑和索引。
還有一塊比較核心內(nèi)容,不屬于數(shù)據(jù)治理范疇。因為這家企業(yè)是沒有流程 IT 部門的,IT 負責人之前對業(yè)務全貌和整體流向一直不是很清楚。我們幫助企業(yè)基于對現(xiàn)有業(yè)務的理解做了一個業(yè)務全景圖。但是這個項目到最后,CIO 非常關心這個業(yè)務全景圖,以此看到從業(yè)務全景圖到數(shù)據(jù)的映射,也可以指導每年的 IT 規(guī)劃。
--
03
問答環(huán)節(jié)
Q1:主數(shù)據(jù)在數(shù)據(jù)治理的方法,或者是數(shù)據(jù)標準的價值?
A1:為什么有主數(shù)據(jù)?因為有些企業(yè)的業(yè)務鏈路特別長,特別像制造業(yè)的產(chǎn)品主數(shù)據(jù),客戶主數(shù)據(jù)。10 年前,大部分企業(yè)做數(shù)據(jù)治理就是做主數(shù)據(jù)治理,進行跨業(yè)務域跨系統(tǒng)的數(shù)據(jù)的整合和取用,形成對主數(shù)據(jù)的單一真實映象并進行分發(fā)。
現(xiàn)在的數(shù)據(jù)平臺在慢慢地弱化主數(shù)據(jù)的概念,因為數(shù)據(jù)平臺里面內(nèi)置的功能和方法,可以支撐主數(shù)據(jù)需要的核心能力。主數(shù)據(jù)是跨業(yè)務域、跨系統(tǒng)的數(shù)據(jù)的整合分發(fā),現(xiàn)在企業(yè)數(shù)據(jù)管理的范圍已經(jīng)不僅僅局限于主數(shù)據(jù)了(也包括很多重要的交易數(shù)據(jù)),越來越偏向更廣泛的數(shù)據(jù)治理,不需要特別去考慮主數(shù)據(jù)專項的方法論,滴普前面講到的一些方法,其實就可以覆蓋原有主數(shù)據(jù)的核心過程。
數(shù)據(jù)標準最大的作用就是幫助系統(tǒng)里面的數(shù)據(jù)更真實地反映業(yè)務。數(shù)據(jù)標準來源于業(yè)務人員、IT 人員達成的一致性對數(shù)據(jù)的理解,并約束增量的業(yè)務。讓企業(yè)的數(shù)據(jù)源頭慢慢地往越來越貼合真實業(yè)務的方向走,就是數(shù)據(jù)標準最大的價值。
Q2:從不同業(yè)務系統(tǒng)做完數(shù)據(jù)治理后,要再形成一個新的數(shù)據(jù)庫嗎?或者是要做一層知識圖譜的結構?
A2:做完數(shù)據(jù)治理工作短時間內(nèi)很難得到一個全新的數(shù)據(jù)庫,短時間內(nèi)它可能就是一個標準。從制定標準到約束源頭的數(shù)據(jù)庫去改造,需要一個漸進的過程。當然未來方向上,還是需要重新形成一層選定的數(shù)據(jù)層,承載治理后的清潔數(shù)據(jù)。但是最終,如果源頭業(yè)務系統(tǒng)已經(jīng)按照數(shù)據(jù)標準逐漸地替換(通過系統(tǒng)的功能演進或生命周期更換掉),已經(jīng)比如過四五年以后全部都符合數(shù)據(jù)標準了,也就完成了數(shù)據(jù)治理。
Q3:數(shù)據(jù)標準制定后在原業(yè)務系統(tǒng)無法落地怎么辦?
A3:不能用短期的時效性去看數(shù)據(jù)標準落地,一定要看長期性的效果。數(shù)據(jù)標準解決的是兩件事情。對于存量的,特別是很多生產(chǎn)制造企業(yè),業(yè)務系統(tǒng)對于生產(chǎn)過程非常重要,建議還是采取映射的結構,幫助企業(yè)更清晰地獲取現(xiàn)有的數(shù)據(jù)結構,不能一下子要求業(yè)務系統(tǒng)按標準馬上去改造。對于增量的數(shù)據(jù)結構,并通過數(shù)據(jù)平臺的校核功能,在業(yè)務系統(tǒng)功能變更或新增的時候進行數(shù)據(jù)表的比對,哪幾條不符合必須按標準改造。存量的不建議強行去改造(除非有高層的強力支持),會受到業(yè)務的極大反彈。
Q4:數(shù)據(jù)治理工作的價值或者 KPI 怎么量化?
A4:一種是通過企業(yè)的數(shù)字化或信息化場景切入,比如企業(yè)正在做業(yè)財一體化的項目、在做大型軟件包的更替,要和周邊的數(shù)據(jù)做交互。那么數(shù)據(jù)治理的價值就是幫助軟件包更好地和周邊數(shù)據(jù)的交互,或者獲取更清晰的其他周邊系統(tǒng)的數(shù)據(jù)結構。這是一種支撐大型軟件包的落地效果的價值。
還有一種是大部分企業(yè)在做的中臺可視化涉及的指標、標簽算法。比如財務部門以前出分析結果很慢,幫它做準做快,這就是價值的體現(xiàn)。
再有一種,如果數(shù)據(jù)治理后期,資產(chǎn)形成相關的服務以后,可以通過資產(chǎn)服務的調(diào)用,包括復用性、資產(chǎn)價值本身的評估,通過前端的調(diào)用性和對業(yè)務應用的貢獻去計算價值。
今天的分享就到這里,謝謝大家。
▌關于滴普科技
北京滴普科技有限公司(deepexi.com)成立于2018年,定位為數(shù)據(jù)智能服務商。滴普科技以數(shù)據(jù)智能技術為基礎,以數(shù)據(jù)的業(yè)務價值為核心,為客戶提供數(shù)據(jù)智能基礎軟件產(chǎn)品與服務。
滴普科技的核心產(chǎn)品——實時湖倉平臺FastData,全面整合了從數(shù)據(jù)源、數(shù)據(jù)分析到數(shù)據(jù)價值實現(xiàn)的完整鏈路,幫助企業(yè)建立統(tǒng)一治理、流批一體、湖倉一體的云原生數(shù)據(jù)智能平臺,實現(xiàn)海量數(shù)據(jù)實時分析,成為支撐企業(yè)數(shù)字化轉型的核心基礎軟件設施。
FastData Cloud云服務產(chǎn)品已與主流云廠商達成合作,以云原生部署、彈性計費的商業(yè)模式,幫助客戶提供按需組合式數(shù)據(jù)工具搭建。DEEPNOVA開發(fā)者社區(qū)聚焦數(shù)據(jù)架構領域,與開發(fā)者共同探討核心基礎設施平臺能力的技術發(fā)展趨勢。
基于對行業(yè)的深刻洞察與豐富的數(shù)字化轉型經(jīng)驗,滴普科技打造了以數(shù)據(jù)為核心的業(yè)務價值創(chuàng)新服務DIC,幫助大型國央企完善數(shù)據(jù)基礎設施建設,同時賦能全行業(yè)在制造及零售供應鏈、財經(jīng)管理及雙碳領域的數(shù)字化升級。
目前,滴普科技已成功服務200余家知名大中型企業(yè),包括中國石油、興業(yè)證券、百麗時尚、重慶機電、陜藥集團、長安新能源、納愛斯集團、新華聯(lián)、廣州城投、九洲電器、OPPO、VIVO等,以數(shù)據(jù)智能推動各行業(yè)的數(shù)據(jù)基礎設施建設。
▌2023數(shù)據(jù)智能創(chuàng)新與實踐大會
第四屆DataFunCon數(shù)據(jù)智能創(chuàng)新與實踐大會將于? 7月21-22日在北京召開,會議主題為新基建·新征程,聚焦數(shù)據(jù)智能四大體系:數(shù)據(jù)架構、數(shù)據(jù)效能、算法創(chuàng)新、智能應用。在這里,你將領略到數(shù)據(jù)智能技術實踐最前沿的景觀。
歡迎大家點擊下方鏈接獲取大會門票~
DataFunCon2023(北京站):數(shù)據(jù)智能創(chuàng)新與實踐大會 - 百格活動
聯(lián)系客服