新年開(kāi)工以來(lái),在老板的號(hào)召下,公司各個(gè)業(yè)務(wù)條線都狠抓數(shù)據(jù)分析,上至財(cái)務(wù)預(yù)算,下至客戶渠道ROI計(jì)算,幾乎所有的關(guān)鍵決策,都要求是要有數(shù)據(jù)分析來(lái)做支撐的。老板也號(hào)召每個(gè)部門都要招募和培養(yǎng)自己的數(shù)據(jù)分析人員,每周的總經(jīng)理辦公會(huì),部門主管必須帶一名數(shù)據(jù)分析人員參會(huì)。全公司越來(lái)越重視“數(shù)據(jù)分析”,那么數(shù)據(jù)分析的工作到底該怎么開(kāi)展呢?各個(gè)部門都要做的數(shù)據(jù)分析工作有什么差異嗎?企業(yè)的不同層面應(yīng)該怎樣利用數(shù)據(jù)分析的結(jié)果來(lái)驅(qū)動(dòng)決策?為了回答好這些問(wèn)題,我嘗試梳理一下數(shù)據(jù)分析的定義、分類,然后探索其能帶來(lái)的商業(yè)價(jià)值,最后結(jié)合公司的實(shí)際來(lái)給出答案。
先來(lái)說(shuō)一下數(shù)據(jù)分析的定義。數(shù)據(jù)分析其實(shí)是一個(gè)很籠統(tǒng)的概念,其背后對(duì)應(yīng)的概念可能是商務(wù)智能(BI),也可能是計(jì)算機(jī)決策支持系統(tǒng)(DSS)。這兩個(gè)系統(tǒng)都具有非常復(fù)雜的技術(shù)生態(tài)、方法論以及豐富的工具集,因?yàn)槎萌说纳伲芏嗳耍ㄌ貏e是決策者)通常就簡(jiǎn)單的用“數(shù)據(jù)分析”來(lái)代替BI和DSS?;谶@個(gè)認(rèn)識(shí),我們可以把數(shù)據(jù)分析定義為“從歷史數(shù)據(jù)中獲得洞察并轉(zhuǎn)化為可執(zhí)行的決策或者推薦的過(guò)程”。這個(gè)定義中有三個(gè)基本要素,分別是“數(shù)據(jù)”、“洞察”和“決策”,它們對(duì)應(yīng)著下文中數(shù)據(jù)分析的三個(gè)層次。這個(gè)定義還強(qiáng)調(diào)了數(shù)據(jù)分析是一個(gè)“過(guò)程”,是將數(shù)據(jù)轉(zhuǎn)換成信息,然后以此為基礎(chǔ)制定決策最后開(kāi)始行動(dòng)的一個(gè)連續(xù)過(guò)程。下圖是抽象的企業(yè)“業(yè)務(wù)壓力-反應(yīng)-支持”模型,從中可以看出,數(shù)據(jù)分析是企業(yè)經(jīng)營(yíng)流程里面是不可或缺的一部分。
數(shù)據(jù)分析將計(jì)算機(jī)技術(shù)、管理科學(xué)和統(tǒng)計(jì)學(xué)結(jié)合以解決實(shí)際問(wèn)題,通過(guò)數(shù)據(jù)來(lái)理解當(dāng)前發(fā)生什么、將要發(fā)生什么以及如何制定最優(yōu)策略。INFORMS(運(yùn)營(yíng)研究與管理科學(xué)研究所)基于這個(gè)思想,將數(shù)據(jù)分析劃分成三個(gè)層次:描述性分析、預(yù)測(cè)性分析以及規(guī)范性分析。下面來(lái)一一講解這三個(gè)層次分析的目的、適用場(chǎng)景以及它們之間的關(guān)系。
為了方便理解,這里先簡(jiǎn)單說(shuō)明一下數(shù)據(jù)、信息、知識(shí)以及智慧這四者之間的關(guān)系。這四個(gè)概念是依次遞進(jìn)的關(guān)系,代表著人類認(rèn)知的轉(zhuǎn)化過(guò)程。數(shù)據(jù)指的的是未經(jīng)加工的原始素材,代表的是一種客觀存在,本身是沒(méi)有任何意義。信息是指人們對(duì)數(shù)據(jù)進(jìn)行了分析,將數(shù)據(jù)整合、處理然后進(jìn)行關(guān)鍵提取,本質(zhì)上是情景化過(guò)的數(shù)據(jù)。當(dāng)人們有了大量的信息,會(huì)對(duì)信息進(jìn)行總結(jié)歸納,將其體系化,于是就形成了知識(shí)(寫(xiě)在了書(shū)本上,我們看書(shū)本質(zhì)上是為了獲取知識(shí))。最后一層是智慧,則是在人們有了大量的知識(shí)之后,加上大量的實(shí)踐,然后總結(jié)出來(lái)的經(jīng)驗(yàn)或者是對(duì)世界的看法(帶有主觀色彩)。比如孔子、孟子這些先賢,我們一般不會(huì)稱他們是有知識(shí)的人(當(dāng)然他們肯定是有知識(shí)的),我們通常會(huì)稱他們?yōu)橛兄腔鄣娜?。下圖形象的展示了它們之間的關(guān)系。接下來(lái)要講的數(shù)據(jù)分析的三個(gè)層次,分別對(duì)應(yīng)著數(shù)據(jù)到信息的轉(zhuǎn)換、信息到知識(shí)的提提煉以及知識(shí)到智慧的實(shí)踐。
描述性(或報(bào)表)分析是指了解企業(yè)正在發(fā)生什么,并理解潛在的趨勢(shì)和事件發(fā)生的原因。通常這部分分析工作是基于業(yè)務(wù)數(shù)據(jù)源的整合(數(shù)據(jù)倉(cāng)庫(kù)),制作多種數(shù)據(jù)報(bào)表和可視化分析圖表,然后周期性的產(chǎn)出。報(bào)表的內(nèi)容具有非常強(qiáng)的業(yè)務(wù)相關(guān)性(因此也被稱為業(yè)務(wù)報(bào)表),涵蓋經(jīng)營(yíng)決策者每天都要關(guān)注的業(yè)務(wù)指標(biāo)。不同的部門會(huì)要求不同的報(bào)表樣式,但總體要求都是要清晰、簡(jiǎn)潔、完整和準(zhǔn)確。企業(yè)需要搭建或者購(gòu)買成熟穩(wěn)定的報(bào)表工具來(lái)落地報(bào)表的開(kāi)發(fā)、管理以及基本交互。業(yè)務(wù)報(bào)表就內(nèi)容和形式來(lái)講,可以分成正式的、非正式的和簡(jiǎn)短的報(bào)表;從目的來(lái)看,可以分為業(yè)務(wù)指標(biāo)報(bào)表、績(jī)效指標(biāo)報(bào)表(儀表盤、駕駛艙類)和經(jīng)營(yíng)指標(biāo)報(bào)表(例如平衡記分卡)。一種重要的技術(shù)逐漸成為這個(gè)領(lǐng)域的關(guān)鍵,那就是數(shù)據(jù)可視化。數(shù)據(jù)可視化在異常偵測(cè)、趨勢(shì)判斷、數(shù)據(jù)分類等方面具有獨(dú)特的優(yōu)勢(shì),能夠幫助決策者快速獲得洞察,對(duì)于某些模糊的問(wèn)題,它還能有助于啟發(fā)思考。不管是報(bào)表還是可視化圖表,從根本上來(lái)講它們都是信息的展現(xiàn)。
預(yù)測(cè)性分析旨在確定未來(lái)可能會(huì)發(fā)生什么。這種分析技術(shù)主要是基于統(tǒng)計(jì)學(xué)和數(shù)據(jù)挖掘技術(shù)。兩者都是試圖尋找數(shù)據(jù)中的關(guān)系。統(tǒng)計(jì)學(xué)收集樣本數(shù)據(jù)(數(shù)據(jù)量小)來(lái)檢驗(yàn)假設(shè),數(shù)據(jù)挖掘則利用全部數(shù)據(jù)(大數(shù)據(jù)量)來(lái)發(fā)現(xiàn)一些合理的模式和關(guān)系。從技術(shù)上,數(shù)據(jù)挖掘是一個(gè)綜合應(yīng)用統(tǒng)計(jì)學(xué)、數(shù)據(jù)和人工智能技術(shù)等學(xué)科知識(shí)從大數(shù)據(jù)集中提取和識(shí)別有用信息和知識(shí)(或模式)的過(guò)程。數(shù)據(jù)挖掘的任務(wù)主要分為三大類:預(yù)測(cè)、關(guān)聯(lián)和聚類。數(shù)據(jù)挖掘是由經(jīng)驗(yàn)和試驗(yàn)來(lái)驅(qū)動(dòng)的,從業(yè)務(wù)理解和數(shù)據(jù)理解開(kāi)始,經(jīng)由數(shù)據(jù)準(zhǔn)備和模型構(gòu)建,再到模型的測(cè)試和評(píng)估,最終上線部署。根據(jù)問(wèn)題的復(fù)雜程度和分析者經(jīng)驗(yàn)的不同,整個(gè)挖掘過(guò)程中往往需要迭代多次。預(yù)測(cè)性分析不管是從理論方面還是從工程實(shí)踐方面,難度都比描述性分析上升一大截,企業(yè)要想在這方面有實(shí)際的產(chǎn)出,需要做好投入大、周期長(zhǎng)的準(zhǔn)備。
規(guī)范性分析要解決的問(wèn)題是需要做什么,是在認(rèn)識(shí)到發(fā)生了什么,并對(duì)未來(lái)要發(fā)生什么有基本的預(yù)測(cè)后,制定決策以獲得最大收益,因此也可以稱為決策分析或者指導(dǎo)性分析。決策或者指導(dǎo)性意見(jiàn),其背后往往有內(nèi)涵價(jià)值判斷,帶有主觀思維。決策者的經(jīng)驗(yàn)(智慧)對(duì)于“需要做什么以及怎樣做”有非常強(qiáng)的指導(dǎo)意義,當(dāng)然行動(dòng)的結(jié)果也依賴于前兩種分析方法的反饋。
描述性分析最簡(jiǎn)單,規(guī)范性分析最難。描述性分析重點(diǎn)在全面、穩(wěn)定和準(zhǔn)確,時(shí)效性越高越好;規(guī)范性分析在企業(yè)里面需求最迫切,執(zhí)行起來(lái)不確定性更高,需要及時(shí)跟蹤和重復(fù)分析。它們?nèi)咧g如下圖所示,并非相互獨(dú)立,而是層層依賴。
這三種數(shù)據(jù)分析所對(duì)應(yīng)的工作,似乎就是老板經(jīng)常強(qiáng)調(diào)的“非常重要的工作”。那么企業(yè)里面應(yīng)該如何構(gòu)建完善的信息系統(tǒng)架構(gòu)來(lái)保障分析工作的順利進(jìn)行呢?完整的BI或者叫做數(shù)據(jù)分析體系,通常包含四個(gè)部分:帶有各種數(shù)據(jù)源的數(shù)據(jù)倉(cāng)庫(kù)、業(yè)務(wù)分析環(huán)境(用戶操作挖掘、分析數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的工具集)、用來(lái)監(jiān)測(cè)和分析績(jī)效的企業(yè)績(jī)效管理系統(tǒng)、用戶界面(例如儀表盤)。這四者之間的關(guān)系如下圖所示。數(shù)據(jù)分析體系(BI)的搭建,不能僅僅是信息系統(tǒng)的技術(shù)實(shí)踐,必須是為了改進(jìn)商業(yè)流程,并將決策制定過(guò)程轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)型,以改善企業(yè)的經(jīng)營(yíng)方式。
組織需要獲取、理解并利用業(yè)務(wù)數(shù)據(jù)來(lái)支持決策,改善企業(yè)運(yùn)營(yíng)。管理者需要在正確的時(shí)間和正確的地點(diǎn)獲得正確的信息,這是現(xiàn)代商務(wù)智能的準(zhǔn)則。下表是我根據(jù)我們公司的實(shí)際情況總結(jié)出“數(shù)據(jù)分析”能在哪些方面產(chǎn)生明顯的商業(yè)價(jià)值。
回到開(kāi)頭的那幾個(gè)問(wèn)題。首先數(shù)據(jù)分析工作的重要性是毋庸置疑的,老板即使不再?gòu)?qiáng)調(diào),全公司上下都必須要有這種統(tǒng)一的認(rèn)識(shí)。數(shù)據(jù)分析工作的開(kāi)展,大體上可以采取“專業(yè)的人做專業(yè)的事情”的思路。以我們公司為例,第一個(gè)層面的分析,會(huì)有一個(gè)獨(dú)立的業(yè)務(wù)報(bào)表團(tuán)隊(duì)承接公司層面、全局的、專業(yè)性較強(qiáng)(財(cái)務(wù)、績(jī)效等)的報(bào)表開(kāi)發(fā)和運(yùn)維,各個(gè)業(yè)務(wù)部門培養(yǎng)數(shù)據(jù)分析人員和報(bào)表制作人員,針對(duì)自己領(lǐng)域內(nèi)業(yè)務(wù)指標(biāo)制作報(bào)表。一來(lái)是因?yàn)樗麄冸x業(yè)務(wù)最近,對(duì)業(yè)務(wù)的理解最透徹,二來(lái)是因?yàn)樗麄儗?duì)業(yè)務(wù)變更的響應(yīng)最及時(shí)。獨(dú)立的報(bào)表團(tuán)隊(duì)可能還需要負(fù)責(zé)報(bào)表工具的培訓(xùn)和報(bào)表體系的規(guī)劃。第二個(gè)層面的數(shù)據(jù)分析工作,是需要具備數(shù)理統(tǒng)計(jì)、機(jī)器學(xué)習(xí)等專業(yè)技能的人員來(lái)承擔(dān),可以是組建專門的團(tuán)隊(duì)來(lái)執(zhí)行,也可以下沉到業(yè)務(wù)強(qiáng)相關(guān)的部門來(lái)做。我的建議是,如果這部分工作對(duì)數(shù)倉(cāng)開(kāi)發(fā)、代碼工程的能力要求較高,最好是放在獨(dú)立的數(shù)據(jù)團(tuán)隊(duì)落地,以“研究課題”或者“技術(shù)攻關(guān)項(xiàng)目”的形式來(lái)推動(dòng)。這樣做能有效緩解數(shù)據(jù)使用低效、迭代周期長(zhǎng)的問(wèn)題。第三個(gè)層面的數(shù)據(jù)分析,經(jīng)常是由某些部門的負(fù)責(zé)人牽頭,或者是由高層召集虛擬小組,以專題分析的形式展開(kāi),以“階段性匯報(bào)”方式的推進(jìn),然后不定期地進(jìn)行。從上面這三種執(zhí)行途徑來(lái)看,業(yè)務(wù)部門的數(shù)據(jù)分析工作重點(diǎn)在于數(shù)據(jù)指標(biāo)的展現(xiàn)、監(jiān)控和異常分析,獨(dú)立的數(shù)據(jù)分析團(tuán)隊(duì)重點(diǎn)在于業(yè)務(wù)難題攻關(guān)、商業(yè)價(jià)值探索。企業(yè)的決策者可以基于這種思路來(lái)給不同的團(tuán)隊(duì)(部門)提出不同的數(shù)據(jù)分析目標(biāo),制定不同的考核標(biāo)準(zhǔn)。
最后補(bǔ)充一點(diǎn),大數(shù)據(jù)的出現(xiàn),本質(zhì)上沒(méi)有改變數(shù)據(jù)分析的內(nèi)容。大數(shù)據(jù)在數(shù)據(jù)的體量、多樣性以及復(fù)雜度三個(gè)維度上提高了數(shù)據(jù)分析的難度,大數(shù)據(jù)分析產(chǎn)出的結(jié)果以及對(duì)企業(yè)的價(jià)值和上面提到的數(shù)據(jù)分析沒(méi)有本質(zhì)的區(qū)別。
萬(wàn)鵬(wp),現(xiàn)任上海數(shù)禾信息科技有限公司大數(shù)據(jù)總監(jiān),是本公眾號(hào)的維護(hù)者。
聯(lián)系客服