2019-06-10
公眾號后臺回復：科技1906，免費下載本月推薦精品科技類圖書
公眾號后臺回復：管理1906，免費下載本月推薦精品管理類圖書
公眾號后臺回復：人文歷史1906，免費下載本月推薦精品人文歷史類圖書
First加入“ICT銷售和大客戶聯(lián)盟”（微信ID：ICT-League），尋找志同道合的小伙伴！
您的關注就是我們最大的動力，這里有大量企業(yè)家高凈值粉絲，每天分享最新商業(yè)資訊、趨勢、深度好文、把握財經(jīng)動態(tài)。喜歡學習和閱讀的朋友請關注我，文章每天都會更新，歡迎轉(zhuǎn)發(fā)閱讀！
03 數(shù)據(jù)治理
是大數(shù)據(jù)對業(yè)務洞察的基礎
首先，不是所有的問題都需要大數(shù)據(jù)解決方案。比如，對于對大型數(shù)據(jù)集或來自多個數(shù)據(jù)源的臨時報告、執(zhí)行、并行處理等等的項目，可能沒有必要使用大數(shù)據(jù)解決方案。
我們需要思考的是：
大數(shù)據(jù)是否是業(yè)務問題的正確解決方案，
它是否為我們提供了業(yè)務機會？
大數(shù)據(jù)中是否隱藏著業(yè)務機會？
我主導過很多企業(yè)的咨詢和業(yè)務規(guī)劃，歸納起來發(fā)現(xiàn)，很多的企業(yè)都會問到這樣一些問題：
使用大數(shù)據(jù)可能會獲得何種洞察和業(yè)務價值？
對現(xiàn)有的IT治理有什么影響？
需要掌握哪些技能來理解、分析、構(gòu)建和維護大數(shù)據(jù)的需求？
現(xiàn)有的數(shù)據(jù)庫、數(shù)據(jù)湖能否提供業(yè)務洞察和業(yè)務決策？
各種數(shù)據(jù)來源的數(shù)據(jù)在不斷增長，如何處理才對我有幫助？
......
大數(shù)據(jù)要活的業(yè)務洞察，基本的邏輯就是要從數(shù)據(jù)中獲得有用的信息。而這項工作的基礎就是數(shù)據(jù)治理。數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關數(shù)據(jù)的正確決策。
在將數(shù)據(jù)傳入企業(yè)進行處理、存儲、分析、清除或歸檔時，需要強有力的指南和流程來監(jiān)視、構(gòu)建、存儲和保護數(shù)據(jù)。數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來源傳入的數(shù)據(jù)的復雜性、量和種類。
除了正常的數(shù)據(jù)清洗、脫敏、ETL等需要考慮因素之外，數(shù)據(jù)治理還應該包含其他因素：
管理各種格式（異構(gòu)多源、結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化）的大量數(shù)據(jù)
持續(xù)訓練和管理必要的統(tǒng)計模型
設置外部數(shù)據(jù)有關其保留和使用的策略和合規(guī)性制度
定義數(shù)據(jù)歸檔和清除策略
創(chuàng)建如何跨系統(tǒng)復制數(shù)據(jù)的策略
設置數(shù)據(jù)加密策略
單純的為治理而進行的數(shù)據(jù)治理是不合適的，數(shù)據(jù)治理需要考慮業(yè)務問題和需要，依據(jù)業(yè)務問題對數(shù)據(jù)進行分類和管理，才是正道。
業(yè)務問題可分類為不同的大數(shù)據(jù)問題類型。將業(yè)務問題映射到它的大數(shù)據(jù)類型才是數(shù)據(jù)治理的良好的開端。
按類型對大數(shù)據(jù)問題分類，更容易看到每種數(shù)據(jù)的特征。這些特征可幫助我們了解如何獲取數(shù)據(jù)，如何將它處理為合適的格式，以及新數(shù)據(jù)出現(xiàn)的頻率。來自不同來源的數(shù)據(jù)具有不同的特征等等。
我覺得，IBM給出的常見業(yè)務問題，并為每個問題分配了一種大數(shù)據(jù)類型的分類表不錯。
表1. 不同類型的大數(shù)據(jù)業(yè)務問題
業(yè)務問題
大數(shù)據(jù)問題
描述
公用事業(yè)：預測功耗
機器生成的數(shù)據(jù)
公用事業(yè)公司推出了智慧儀表，按每小時或更短的間隔定期測量水、天然氣和電力的消耗。這些智慧儀表生成了需要分析的大量間隔數(shù)據(jù)。
公用事業(yè)公司還運行著昂貴而又復雜的大型系統(tǒng)來發(fā)電。每個電網(wǎng)包含監(jiān)視電壓、電流、頻率和其他重要操作特征的復雜傳感器。
要提高操作效率，該公司必須監(jiān)視傳感器所傳送的數(shù)據(jù)。大數(shù)據(jù)解決方案可以使用智慧儀表分析發(fā)電（供應）和電力消耗（需求）數(shù)據(jù)。
電信：客戶流失分析
Web和社交數(shù)據(jù)
交易數(shù)據(jù)
電信運營商需要構(gòu)建詳細的客戶流失模型（包含社交媒體和交易數(shù)據(jù)，比如 CDR），以跟上競爭形勢。
流失模型的值取決于客戶屬性的質(zhì)量（客戶主數(shù)據(jù)，比如生日、性別、位置和收入）和客戶的社交行為。
實現(xiàn)預測分析戰(zhàn)略的電信提供商可通過分析用戶的呼叫模式來管理和預測流失。
市場營銷：情緒分析
Web和社交數(shù)據(jù)
營銷部門使用 Twitter 源來執(zhí)行情緒分析，以便確定用戶對公司及其產(chǎn)品或服務的評價，尤其是在一個新產(chǎn)品或版本發(fā)布之后。
客戶情緒必須與客戶概要數(shù)據(jù)相集成，才能得到有意義的結(jié)果。依據(jù)客戶的人口統(tǒng)計特征，客戶反饋可能有所不同。
客戶服務：呼叫監(jiān)視
人類生成的
IT 部門正在依靠大數(shù)據(jù)解決方案來分析應用程序日志，以便獲取可提高系統(tǒng)性能的洞察。來自各種應用程序供應商的日志文件具有不同的格式；必須將它們標準化，然后 IT 部門才能使用它們。
零售：基于面部識別和社交媒體的個性化消息
Web和社交數(shù)據(jù)
生物識別
零售商可結(jié)合使用面部識別技術和來自社交媒體的照片，根據(jù)購買行為和位置向客戶提供個性化的營銷信息。
此功能對零售商忠誠度計劃具有很大的影響，但它具有嚴格的隱私限制。零售商需要在實現(xiàn)這些應用程序之前進行適當?shù)碾[私披露。
零售和營銷：移動數(shù)據(jù)和基于位置的目標
機器生成的數(shù)據(jù)
交易數(shù)據(jù)
零售商可根據(jù)位置數(shù)據(jù)為客戶提供特定的促銷活動和優(yōu)惠券。解決方案通常旨在在用戶進入一個店鋪時檢測用戶的位置，或者通過GPS 檢測用戶的位置。
位置數(shù)據(jù)與來自社交網(wǎng)絡的客戶偏好數(shù)據(jù)相結(jié)合，使零售商能夠根據(jù)購買歷史記錄針對性地開展在線和店內(nèi)營銷活動。通知是通過移動應用程序、SMS 和電子郵件提供的。
FSS、醫(yī)療保健：欺詐檢測
機器生成的數(shù)據(jù)
交易數(shù)據(jù)
人類生成的
欺詐管理可預測給定交易或客戶帳戶遇到欺詐的可能性。解決方案可實時分析事務，生成建議的立即執(zhí)行的措施，這對阻止第三方欺詐、第一方欺詐和對帳戶特權的蓄意濫用至關重要。
解決方案通常旨在檢測和阻止多個行業(yè)的眾多欺詐和風險類型，其中包括：
· 信用卡和借記卡欺詐
· 存款帳戶欺詐
· 技術欺詐
· 壞賬
· 醫(yī)療欺詐
· 醫(yī)療補助計劃和醫(yī)療保險欺詐
· 財產(chǎn)和災害保險欺詐
· 工傷賠償欺詐
· 保險欺詐
· 電信欺詐
04 數(shù)據(jù)治理
全業(yè)務數(shù)據(jù)匯聚
主數(shù)據(jù)建設
數(shù)據(jù)治理的意義：遵循公司統(tǒng)一數(shù)據(jù)模型，推動核心業(yè)務數(shù)據(jù)跨專業(yè)、跨系統(tǒng)關聯(lián)整合，開展企業(yè)級主數(shù)據(jù)建設，實現(xiàn)數(shù)據(jù)統(tǒng)一存儲和管理，為各類應用提供統(tǒng)一的處理、分析和集成服務。
全業(yè)務數(shù)據(jù)匯聚
重點開展數(shù)據(jù)全域整合應用綜合示范，全面實施人員、資產(chǎn)、客戶等業(yè)務領域數(shù)據(jù)整合與試點應用，支撐各專業(yè)、各單位專業(yè)內(nèi)和跨專業(yè)分析應用構(gòu)建。
企業(yè)級主數(shù)據(jù)建設
重點開展人員、資產(chǎn)兩類企業(yè)級主數(shù)據(jù)建設，建立認責發(fā)布機制、維護流程和應用規(guī)則，完善項目、營銷、財務、物資等主數(shù)據(jù)設計等。
數(shù)據(jù)和應用服務能力建設
重點提升全業(yè)務統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)服務、應用構(gòu)建和分析計算支撐能力，為各專業(yè)、各單位提供快速便捷的服務;
深化大數(shù)據(jù)開發(fā)試驗和共享發(fā)布平臺建設，支撐基層單位持續(xù)應用創(chuàng)新。
目前，在大數(shù)據(jù)領域用戶的困難包括以下幾個方面：
隨著網(wǎng)絡和信息技術的不斷普及，大量新數(shù)據(jù)源的出現(xiàn)則導致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長
IT系統(tǒng)經(jīng)歷數(shù)據(jù)量高速膨脹的時期，海量的、分散在不同角落的數(shù)據(jù)導致了數(shù)據(jù)資源利用的復雜性和管理的高難度
無法從統(tǒng)一的業(yè)務視角去概覽整個企業(yè)或政府部門內(nèi)部的數(shù)據(jù)信息
系統(tǒng)與系統(tǒng)之間的關系、標準數(shù)據(jù)從哪里獲取都無從知曉，數(shù)據(jù)質(zhì)量難以保障
系統(tǒng)分散，數(shù)據(jù)標準缺乏結(jié)構(gòu)化的管理，無法形成數(shù)據(jù)臺賬，提供全景檢索
源數(shù)據(jù)變化造成數(shù)據(jù)混亂，各系統(tǒng)間無法快速定義數(shù)據(jù)問題， 無法有效監(jiān)控和改善數(shù)據(jù)質(zhì)量
華云數(shù)創(chuàng)（北京）科技有限公司運用大數(shù)據(jù)人工智能技術，面對企業(yè)的復雜數(shù)據(jù)情況形成一個行之有效的數(shù)據(jù)資產(chǎn)管理解決方案。華云數(shù)創(chuàng)根據(jù)10余年在各行各業(yè)集成交付經(jīng)驗、抽象、歸納多種應用場景，而推出的一套基于不同行業(yè)、不同應用的大數(shù)據(jù)治理產(chǎn)品。
該產(chǎn)品是促進數(shù)據(jù)管理體系建設和執(zhí)行體系落地的有力支撐平臺，將分散、多樣化的核心主數(shù)據(jù)通過標準化、質(zhì)量清洗，集成及監(jiān)控等操作進行優(yōu)化，形成企業(yè)和政府部門內(nèi)的數(shù)據(jù)管控體系，并結(jié)合部門組織結(jié)構(gòu)，形成數(shù)據(jù)管控執(zhí)行體系，在企業(yè)和政府部門內(nèi)部持續(xù)運行，提升、挖掘主數(shù)據(jù)的應用價值。
其數(shù)據(jù)治理的整合架構(gòu)如下：
以大數(shù)據(jù)整合、治理、共享和開放等技術為基礎，以業(yè)務需求為牽引，進一步發(fā)揮信息化價值，服務用戶企業(yè)管理提升、轉(zhuǎn)型升級和改革發(fā)展，為用戶企業(yè)在企業(yè)管理、運行、服務、管控風險等等方面 的精準決策和創(chuàng)新發(fā)展提供有效支撐。
通過大數(shù)據(jù)應用支撐平臺技術服務，用戶企業(yè)能夠完成數(shù)據(jù)的全采集、全接入、全分析、全挖掘和全應用， 實現(xiàn)模型規(guī)范統(tǒng)一、數(shù)據(jù)干凈透明、挖掘靈活智能、業(yè)務融合貫 通、數(shù)據(jù)充分共享，滿足用戶企業(yè)大數(shù)據(jù)建設行動計劃要求。
05 結(jié)論
未來三年，是我國大數(shù)據(jù)發(fā)展轉(zhuǎn)型的重要機遇期。大數(shù)據(jù)的發(fā)展本身也呈現(xiàn)著一些趨勢。
大數(shù)據(jù)新技術繼續(xù)快速發(fā)展
未來大數(shù)據(jù)技術將會沿著工具平臺化、多業(yè)務場景統(tǒng)一處理等方面突破。
大數(shù)據(jù)技術工具在解決資源浪費、彈性能力不足、管理復雜等缺點方面獎快速發(fā)展，快速落地和應用、瞄準分析型業(yè)務場景、多業(yè)務場景統(tǒng)一處理會成為很多大數(shù)據(jù)應用企業(yè)未來的重點。
數(shù)據(jù)流通共享將迎來關鍵突破
推動數(shù)據(jù)開放共享的效果與預期還有很大的差距。隨著同態(tài)加密、差分隱私、零知識證明、量子賬本等關鍵技術的性能提升和門檻降低，隨著區(qū)塊鏈、安全多方計算等工具與數(shù)據(jù)流通場景進一步緊密結(jié)合，數(shù)據(jù)共享交換將有望再前進一大步。
數(shù)據(jù)服務合規(guī)性成為行業(yè)重點
隨著歐盟GDPR的頒布和正式實施，個人信息保護的重視程度被提到了前所未有的高度。中國信息通信研究院正在著力推動的“可信數(shù)據(jù)服務”計劃契合了行業(yè)的這一需求。
數(shù)據(jù)資產(chǎn)管理將越來越重要
數(shù)據(jù)資產(chǎn)管理體系建設，即從架構(gòu)、標準、研發(fā)、質(zhì)量、安全、分析到應用的統(tǒng)一，是實現(xiàn)技術到業(yè)務價值的轉(zhuǎn)化和變現(xiàn)的重要途徑。華云數(shù)創(chuàng)在數(shù)據(jù)全鏈路智能管理體系、數(shù)據(jù)資產(chǎn)的貢獻度、數(shù)據(jù)基線度量與質(zhì)量規(guī)范的工具化、可視化等方面已經(jīng)走出了堅實的一步。
附錄：
文中提及的數(shù)據(jù)治理平臺解決方案的公司介紹：華云數(shù)創(chuàng)（北京）科技有限公司成立于2016年，主要致力于大數(shù)據(jù)、人工智能、數(shù)據(jù)治理、數(shù)據(jù)優(yōu)化、監(jiān)管科技、泛在物聯(lián)網(wǎng)等領域。目前公司累計取得軟件著作權11項。旗下產(chǎn)品線：
? 監(jiān)管科技-用戶實體行為監(jiān)管、數(shù)字資產(chǎn)
? 大數(shù)據(jù)一體化智能業(yè)務運維管理系統(tǒng)
? 泛在物聯(lián)網(wǎng)監(jiān)控、遠程管理、3D實景
? 語音和視頻的人工智能應用
? 大數(shù)據(jù)基礎平臺
? 數(shù)據(jù)治理、數(shù)據(jù)應用、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務
秉承著“Help You Do Different”的企業(yè)愿景。致力于打造優(yōu)秀的基于大數(shù)據(jù)和人工智能技術的新一代大數(shù)據(jù)一體化智能平臺，為客戶提供場景解決方案。
