目前企業(yè)數(shù)字化轉(zhuǎn)型基本上大部分還集中在信息化系統(tǒng)建設(shè)的階段,信息化系統(tǒng)大致上分為管理系統(tǒng)(ERP、MES與PDM等)與工具型(CAD、CAE、CAM等)系統(tǒng),管理系統(tǒng)重點(diǎn)的應(yīng)用對(duì)象是管理層,解決的核心問題在于上下游數(shù)據(jù)不通暢等問題,而管理系統(tǒng)的核心作用也在于數(shù)據(jù)的共享與可視,目前管理系統(tǒng)的數(shù)據(jù)來源基本上以人工操作錄入為主,但是隨著傳感器、移動(dòng)端等數(shù)采方式愈發(fā)成熟,人工錄入的情況會(huì)逐漸減少,甚至我們可以大膽預(yù)言:管理信息化系統(tǒng)的未來歸宿將會(huì)是流程梳理與數(shù)據(jù)治理,流程梳理帶有一些當(dāng)局者迷旁觀者清的味道,同時(shí)扮演著業(yè)務(wù)咨詢與暴露問題的作用(許多問題內(nèi)部不是不知道,而是不方便發(fā)言),而數(shù)據(jù)治理作為后IT系統(tǒng)的重點(diǎn)方向其位置也會(huì)愈發(fā)重要;再加上信息系統(tǒng)越來越多,大數(shù)據(jù)的概念也頻頻被提起,從而帶動(dòng)了數(shù)據(jù)治理、數(shù)據(jù)管控、數(shù)據(jù)中心等多方位的詞匯縈繞在耳邊,,那么究竟什么是數(shù)據(jù)治理?目前包含哪些內(nèi)容?以及是如何落定應(yīng)用的?
概念先行(who)
與其說數(shù)據(jù)治理是一種IT項(xiàng)目更不如說是一種管理體系,這一體系的目的是整合IT與業(yè)務(wù)部門的知識(shí)與意見,通過類似于監(jiān)督委員會(huì)或者項(xiàng)目小組的虛擬組織對(duì)企業(yè)信息化建設(shè)進(jìn)行全方位的監(jiān)管,這一組織的基礎(chǔ)是企業(yè)高管層的授權(quán)和業(yè)務(wù)部門、IT部門的建合作。從范圍上將,數(shù)據(jù)治理涵蓋了前段事務(wù)處理系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫(kù)到終端的數(shù)據(jù)分析,從源頭到終端再回到源頭的一個(gè)閉環(huán)。從目的來講,數(shù)據(jù)治理就是要對(duì)數(shù)據(jù)的獲取、處理以及使用進(jìn)行監(jiān)督。
大致上數(shù)據(jù)治理包含三個(gè)部分:平臺(tái)支撐、管理機(jī)制與應(yīng)用服務(wù),平臺(tái)是企業(yè)級(jí)的數(shù)據(jù)整合平臺(tái),具備規(guī)整、及時(shí)分發(fā)等特性,而管理則是通過數(shù)據(jù)語義定義、業(yè)務(wù)標(biāo)準(zhǔn)規(guī)定、編碼規(guī)則定義等方面給數(shù)據(jù)治理提供保障,而應(yīng)用是一個(gè)逐漸迭代的過程,因?yàn)閾碛辛藬?shù)據(jù)之后,數(shù)據(jù)應(yīng)用是可以進(jìn)行無限拓展的,而且與當(dāng)前的業(yè)務(wù)需求與技術(shù)強(qiáng)關(guān)聯(lián),比如之前只能做企業(yè)級(jí)業(yè)務(wù)數(shù)據(jù)查詢,而之后可以數(shù)據(jù)挖掘、設(shè)備預(yù)測(cè)性維護(hù)等,也就是說應(yīng)用是對(duì)數(shù)據(jù)治理結(jié)果的一種正向反饋。
解決的問題(why)
· 缺乏統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn):
由于企業(yè)ERP、MES與PDM等等各個(gè)系統(tǒng)實(shí)施廠商不同,除了造成企業(yè)內(nèi)部信息孤島、信息系統(tǒng)煙囪式建設(shè),而且也造成數(shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn),企業(yè)管理層面看不到整體業(yè)務(wù)情況,只能在ERP中看財(cái)務(wù)狀況、MES中查看廢品原因、PDM中查看設(shè)計(jì)缺陷等,由于系統(tǒng)間的數(shù)據(jù)無法通過一條業(yè)務(wù)主線進(jìn)行串聯(lián),造成數(shù)據(jù)只能被割裂開來看,無法展示其全貌。而且由于企業(yè)數(shù)據(jù)散落在各個(gè)業(yè)務(wù)系統(tǒng)中(數(shù)據(jù)私有化嚴(yán)重),沒有通過統(tǒng)一標(biāo)準(zhǔn)進(jìn)行有效整合,形成豎井式架構(gòu),造成多個(gè)信息孤島,就企業(yè)整體來講缺少一個(gè)穩(wěn)定的、抗源變化的保持相對(duì)比較細(xì)致的歷史數(shù)據(jù)的數(shù)據(jù)層,用于支撐未來共享性、企業(yè)級(jí)應(yīng)用。
· 數(shù)據(jù)缺少有效管理
數(shù)據(jù)標(biāo)準(zhǔn)管控體系缺失,每個(gè)系統(tǒng)數(shù)據(jù)輸入相對(duì)比較隨意(重復(fù)錄入、數(shù)據(jù)不一致),造成企業(yè)內(nèi)部領(lǐng)導(dǎo)看到的數(shù)據(jù)相互沖突或矛盾,整個(gè)企業(yè)數(shù)據(jù)看起來多但是質(zhì)量相對(duì)比較差,數(shù)據(jù)應(yīng)用難度極大。而且由于缺少整體的標(biāo)準(zhǔn)、流程約束,新的系統(tǒng)開發(fā)仍然我行我素按照自己的規(guī)則進(jìn)行定義開發(fā),造成企業(yè)歷史數(shù)據(jù)問題越累越多。
· 數(shù)據(jù)量大但是質(zhì)量堪憂
整個(gè)企業(yè)沒有歸納并總結(jié)數(shù)據(jù)質(zhì)量問題,缺少反饋機(jī)制,導(dǎo)致長(zhǎng)期存在各類數(shù)據(jù)質(zhì)量問題,如指標(biāo)難以共享、數(shù)據(jù)不一致、關(guān)鍵業(yè)務(wù)數(shù)據(jù)缺失、源系統(tǒng)校驗(yàn)關(guān)系缺失及業(yè)務(wù)人員錄入相對(duì)隨意。
所以綜上所述,隨著業(yè)務(wù)的不斷發(fā)展和信息化系統(tǒng)的不斷深入,建設(shè)的業(yè)務(wù)系統(tǒng)越來越多,隨著業(yè)務(wù)系統(tǒng)的數(shù)據(jù)種類、數(shù)據(jù)來源不斷豐富完善,數(shù)據(jù)量的不斷增大,如果不在企業(yè)級(jí)采取有效手段解決豎井式架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)質(zhì)量問題,隨著信息化建設(shè)的深入,只能在單點(diǎn)業(yè)務(wù)上進(jìn)行深化或者優(yōu)化,但是無法形成企業(yè)級(jí)、平臺(tái)級(jí)應(yīng)用。
數(shù)據(jù)治理包含的內(nèi)容(what)
數(shù)據(jù)治理并不是某一個(gè)系統(tǒng)應(yīng)用,而是一個(gè)以系統(tǒng)工具為支撐、管理機(jī)制為基礎(chǔ)的體系性工作,也就說數(shù)據(jù)治理雖然屬于IT范疇之內(nèi),但是如果不建設(shè)任何信息化系統(tǒng)或者沒有任何信息化基礎(chǔ)的企業(yè)可以做數(shù)據(jù)治理嗎?答案是肯定的,只是單純依靠Word式的規(guī)定或者Excel式的標(biāo)準(zhǔn)很難推廣下去;如果一個(gè)企業(yè)沒有任何信息化系統(tǒng)也可以做數(shù)據(jù)治理,只是數(shù)據(jù)治理對(duì)于他的應(yīng)用并不大,比如下班吃飯五分鐘的路程可以用汽車嗎?當(dāng)然可以,只是沒有路程是五十分鐘的人員解決的痛點(diǎn)突出而已。
雖然說數(shù)據(jù)治理一個(gè)類似于方法論式的系統(tǒng)工程,但是就目前大部分的數(shù)據(jù)治理項(xiàng)目來講,其落地大致包含了包括元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、主數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)交換、生命周期、數(shù)據(jù)安全等內(nèi)容,但是包含的內(nèi)容也并不完全一致,比如部分企業(yè)以MES系統(tǒng)為支持完成生產(chǎn)指揮中心,也就是將生產(chǎn)主題作為為切入點(diǎn);部分企業(yè)以某一個(gè)業(yè)務(wù)系統(tǒng)內(nèi)的數(shù)據(jù)整合為切入點(diǎn),重點(diǎn)完成系統(tǒng)內(nèi)的數(shù)據(jù)治理,基本上數(shù)據(jù)治理的切入點(diǎn)分為:整體規(guī)劃模式、面向業(yè)務(wù)分析模式、數(shù)據(jù)整合平臺(tái)模式、大型應(yīng)用建設(shè)模式、數(shù)據(jù)管理平臺(tái)和工具模式等,如下圖所示。
雖然切入點(diǎn)不同,包含的內(nèi)容也不盡相同,但是數(shù)據(jù)治理無非是對(duì)于企業(yè)級(jí)數(shù)據(jù)、某個(gè)業(yè)務(wù)主題數(shù)據(jù)、某系統(tǒng)數(shù)據(jù)等不同定位的業(yè)務(wù)數(shù)據(jù)進(jìn)行有效管控,而且目前主流的數(shù)據(jù)管理方式是以元數(shù)據(jù)為核心的梳理,所以建設(shè)內(nèi)容基本上也是在元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、主數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)交換、生命周期、數(shù)據(jù)安全等不同方面進(jìn)行自由組合,只是面向的數(shù)據(jù)范圍不同而已。
元數(shù)據(jù):采集匯總企業(yè)系統(tǒng)數(shù)據(jù)屬性的信息,幫助各行各業(yè)用戶獲得更好的數(shù)據(jù)洞察力,通過元數(shù)據(jù)之間的關(guān)系和影響挖掘隱藏在資源中的價(jià)值。目前數(shù)據(jù)治理的梳理方式基本上都是以元數(shù)據(jù)為基礎(chǔ)的,通過定義數(shù)據(jù)的屬性、大小、符號(hào)等內(nèi)容去定義數(shù)據(jù)本身。
數(shù)據(jù)標(biāo)準(zhǔn):對(duì)分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義、數(shù)據(jù)類型、賦值規(guī)則等的定義基準(zhǔn),并通過標(biāo)準(zhǔn)評(píng)估確保數(shù)據(jù)在復(fù)雜數(shù)據(jù)環(huán)境中維持企業(yè)數(shù)據(jù)模型的一致性、規(guī)范性,從源頭確保數(shù)據(jù)的正確性及質(zhì)量,并可以提升開發(fā)和數(shù)據(jù)管理的一貫性和效率性。
數(shù)據(jù)質(zhì)量:有效識(shí)別各類數(shù)據(jù)質(zhì)量問題,建立數(shù)據(jù)監(jiān)管,形成數(shù)據(jù)質(zhì)量管理體系,監(jiān)控并揭示數(shù)據(jù)質(zhì)量問題,提供問題明細(xì)查詢和質(zhì)量改進(jìn)建議,全面提升數(shù)據(jù)的完整性、準(zhǔn)確性、及時(shí)性,一致性以及合法性,降低數(shù)據(jù)管理成本,減少因數(shù)據(jù)不可靠導(dǎo)致的決策偏差和損失。
數(shù)據(jù)集成:可對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、整合、模型管理等處理工作。既可以用于問題數(shù)據(jù)的修正,也可以用于為數(shù)據(jù)應(yīng)用提供可靠的數(shù)據(jù)模型。
主數(shù)據(jù):幫助企業(yè)創(chuàng)建并維護(hù)內(nèi)部共享數(shù)據(jù)的單一視圖,從而提高數(shù)據(jù)質(zhì)量,統(tǒng)一商業(yè)實(shí)體定義,簡(jiǎn)化改進(jìn)商業(yè)流程并提高業(yè)務(wù)的響應(yīng)速度。
數(shù)據(jù)資產(chǎn):匯集企業(yè)所有能夠產(chǎn)生價(jià)值的數(shù)據(jù)資源,為用戶提供資產(chǎn)視圖,快速了解企業(yè)資產(chǎn),發(fā)現(xiàn)不良資產(chǎn),為管理員提供決策依據(jù),提升數(shù)據(jù)資產(chǎn)的價(jià)值。
數(shù)據(jù)交換:用于實(shí)現(xiàn)不同機(jī)構(gòu)不同系統(tǒng)之間進(jìn)行數(shù)據(jù)或者文件的傳輸和共享,提高信息資源的利用率,保證了分布在異構(gòu)系統(tǒng)之間的信息的互聯(lián)互通,完成數(shù)據(jù)的收集、集中、處理、分發(fā)、加載、傳輸,構(gòu)造統(tǒng)一的數(shù)據(jù)及文件的傳輸交換。
生命周期:管理數(shù)據(jù)生老病死,建立數(shù)據(jù)自動(dòng)歸檔和銷毀,全面監(jiān)控展現(xiàn)數(shù)據(jù)的生命過程。
數(shù)據(jù)安全:提供數(shù)據(jù)加密、脫敏、模糊化處理、賬號(hào)監(jiān)控等各種數(shù)據(jù)安全策略,確保數(shù)據(jù)在使用過程中有恰當(dāng)?shù)恼J(rèn)證、授權(quán)、訪問和審計(jì)等措施。
數(shù)據(jù)治理如何落地(how)
通過元數(shù)據(jù)、數(shù)據(jù)模型、主數(shù)據(jù)、數(shù)據(jù)集成、數(shù)據(jù)安全等幾個(gè)維度堅(jiān)實(shí)數(shù)據(jù)管理的各項(xiàng)內(nèi)容,同時(shí)通過數(shù)據(jù)管理工具提升數(shù)據(jù)管理的自動(dòng)化水平(當(dāng)然并不排除某硬漢企業(yè)Excel式的數(shù)據(jù)管控方式),最終促進(jìn)數(shù)據(jù)在企業(yè)級(jí)或者業(yè)務(wù)級(jí)實(shí)現(xiàn)共享、可視、挖掘分析等各類應(yīng)用。
第一步數(shù)據(jù)治理組織機(jī)制:
由于數(shù)據(jù)治理是一項(xiàng)企業(yè)級(jí)的系統(tǒng)工程,甚至數(shù)據(jù)管理機(jī)制的合理、可操作性大于工具的作用,而數(shù)據(jù)治理又是一項(xiàng)需要各個(gè)業(yè)務(wù)部門配合甚至打破現(xiàn)有利益分配的一項(xiàng)工作,所以數(shù)據(jù)治理機(jī)制的的組織方式?jīng)Q定其成敗。
信息化系統(tǒng)許多都是一把手工程,但是由于組織的劃分現(xiàn)在許多職責(zé)都是由信息化部門來承擔(dān),而在信息化系統(tǒng)建設(shè)過程中如果一旦生產(chǎn)部門提出這個(gè)系統(tǒng)影響了自己的生產(chǎn),以生產(chǎn)為王的制造型企業(yè)哪怕是一把手也不敢承擔(dān)這樣的責(zé)任,這也是許多信息化項(xiàng)目無疾而終的原因。而數(shù)據(jù)治理又是一項(xiàng)企業(yè)級(jí)的項(xiàng)目,其影響力可以與ERP系統(tǒng)相媲美,所以站在項(xiàng)目成功的角度出發(fā),還是建議以某個(gè)系統(tǒng)的數(shù)據(jù)梳理或者某個(gè)業(yè)務(wù)主題為切入點(diǎn)。
第二步數(shù)據(jù)管理專題:
由于數(shù)據(jù)治理是一項(xiàng)類似于玄學(xué)的項(xiàng)目類型,但是項(xiàng)目總要有其落地的方式,常規(guī)的數(shù)據(jù)治理項(xiàng)目一般會(huì)在數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等方向進(jìn)行闡述與落地,本階段是帶有一些咨詢性質(zhì)的項(xiàng)目,比較考驗(yàn)項(xiàng)目組經(jīng)驗(yàn)與業(yè)務(wù)積累。
第三步管理工具開發(fā):
之前我們也提到過,即使沒有IT工具的支撐也能夠完成數(shù)據(jù)治理,但是為了實(shí)現(xiàn)數(shù)據(jù)自動(dòng)分發(fā)、數(shù)據(jù)變更審核等工作,也需要開發(fā)一部分IT工具,而且更重要的是企業(yè)的數(shù)據(jù)治理工作需要一些可見的成果,比如數(shù)據(jù)可視、質(zhì)量追溯等。由于數(shù)據(jù)治理相關(guān)的工具基本上都屬于應(yīng)用范疇相對(duì)較窄,而且更新相對(duì)較快,所以建議是以統(tǒng)一平臺(tái)為基礎(chǔ)的微服務(wù)為主。
綜合來講,數(shù)據(jù)治理是一項(xiàng)復(fù)雜的系統(tǒng)工程,與其說是一項(xiàng)IT項(xiàng)目,倒不如說一項(xiàng)IT項(xiàng)目與咨詢項(xiàng)目結(jié)合的項(xiàng)目類型,而且咨詢的比重占比相對(duì)較大,對(duì)于企業(yè)內(nèi)部的業(yè)務(wù)影響不大但是范圍比較廣,很可能會(huì)調(diào)整人員固有的工作方式,比如編碼方式、數(shù)據(jù)維護(hù)者,所以該類項(xiàng)目一般牽涉甚廣,還是建議以某個(gè)主題(如質(zhì)量、生產(chǎn))為切入點(diǎn)進(jìn)行數(shù)據(jù)治理,然后再拓展到企業(yè)級(jí)的數(shù)據(jù)管控與治理,否則項(xiàng)目開始定位為企業(yè)級(jí)的數(shù)據(jù)治理項(xiàng)目夭折率非常高。
聯(lián)系客服