關鍵詞：數(shù)據(jù)化管理、大數(shù)據(jù)、高性能計算、人工智能、數(shù)據(jù)分析
從敏捷的初創(chuàng)企業(yè)到大型企業(yè)，從金融、電信到政府，各行各業(yè)的組織都在積極地采用和實施大數(shù)據(jù)的實踐，以獲得和維持更優(yōu)化的服務、更持久的商業(yè)優(yōu)勢。
向數(shù)據(jù)文化過渡并非易事，特別是在具有眾多業(yè)務系統(tǒng)和眾多數(shù)據(jù)來源的組織中更是如此。
有的組織擁有復雜的業(yè)務體系和復雜的業(yè)務軟件體系，數(shù)據(jù)源不一樣、數(shù)據(jù)架構不同、數(shù)據(jù)庫廠家不同，使得實際上數(shù)據(jù)的統(tǒng)一十分的繁復。這在分布式組織和大型的、龐大的應用程序群等場合更是如此！這造成組織的數(shù)據(jù)統(tǒng)計的結果都很難一致，更別提深度的數(shù)據(jù)分析了。任何一個新的業(yè)務所需的許多數(shù)據(jù)可能來自于不同的業(yè)務系統(tǒng)和不同的數(shù)據(jù)源，這些更改往往帶來一系列復雜的計算和統(tǒng)計過程，這將進一步阻礙并影響組織向數(shù)據(jù)管理的轉變。
盡管很多的初創(chuàng)組織通常都沒有上述遺留的技術債務，但是，他們在數(shù)據(jù)統(tǒng)一和計算效率上仍然存在著許多的問題。當然，他們有機會能夠快速應用新技術，以更現(xiàn)代、更靈活的方式解決問題，更為方便的轉變到數(shù)據(jù)管理體系。
隨著市場的快速發(fā)展，基于大數(shù)據(jù)、云計算、邊緣計算資源和數(shù)據(jù)計算等實踐的結合，統(tǒng)一數(shù)據(jù)，快速呈現(xiàn)、T+0、大幅度的數(shù)據(jù)壓縮、遠優(yōu)于數(shù)據(jù)庫和大數(shù)據(jù)的計算能力、靈活的編碼和高效的編碼效率、穩(wěn)定簡短的編碼體系……,使得很多的初創(chuàng)組織和小型組織能夠與許多數(shù)倍于其規(guī)模的組織進行面對面的競爭，并最終脫穎而出。
大型組織實際上也可以做到，當然可以做到啊，而且也應該如此做到！
如果還沒有做到的話，那就要進行統(tǒng)一數(shù)據(jù)的過渡。成功的組織在這個過渡過程中有幾個共同的特征、策略和技術，使組織能夠較好的適應大數(shù)據(jù)時代。
發(fā)展數(shù)據(jù)管理要突破三個門檻：
認清大數(shù)據(jù)和高性能計算的依托分別是什么。
找到把大數(shù)據(jù)變成知識的途徑。
算出大數(shù)據(jù)投資后產生的經濟效益。（大數(shù)據(jù)知識發(fā)掘以后如何產生經濟效益？）
如何通過數(shù)據(jù)驅動業(yè)務發(fā)展
數(shù)據(jù)多，就一定能推驅動業(yè)務發(fā)展嗎？有了數(shù)據(jù)分析團隊，就一定能找出問題來嗎？
一、數(shù)據(jù)驅動業(yè)務的數(shù)據(jù)化管理誤區(qū)
1、擁有大量的數(shù)據(jù)，不一定就能驅動業(yè)務發(fā)展
數(shù)據(jù)多并不意味著一定能良好的驅動業(yè)務發(fā)展，這是因為，存在很多因素導致數(shù)據(jù)并不能很好地應用于業(yè)務中，這包括但不限于：
數(shù)據(jù)質量差，數(shù)據(jù)臟
一方面，很多公司在采集數(shù)據(jù)時，會采集到很多臟數(shù)據(jù)，比如IT行業(yè)的日志數(shù)據(jù)、監(jiān)控的指標數(shù)據(jù)、物聯(lián)網(wǎng)傳感器網(wǎng)的數(shù)據(jù)；互聯(lián)網(wǎng)行業(yè)的模擬器刷量、羊毛黨刷量等等。如果沒有好的方法識別和剔除，很難將這部分數(shù)據(jù)過濾掉。另外一方面，在采集數(shù)據(jù)時，沒有做到標準化、規(guī)范化上報。那么在做數(shù)據(jù)挖掘分析時，就很難得到有效信息。
而數(shù)據(jù)的準確性和穩(wěn)定性是數(shù)據(jù)科學管理的基礎，如果無法滿足這兩點，在業(yè)務決策上就會存在很多問題。
數(shù)據(jù)與業(yè)務關聯(lián)性不大
只有跟業(yè)務有足夠強的關聯(lián)性的數(shù)據(jù)才價值。
比如，在IT運維行業(yè)，各種指標、日志、流量、性能等參數(shù)多達幾百甚至幾千。但是在日常分析時，能經常被用到的也就那么幾個，其他的或者訪問非常少，或者會隨著時間推移，慢慢被棄用。
反而，大量的有用數(shù)據(jù)卻被沉默在這些海量的數(shù)據(jù)中，得不到利用。
數(shù)據(jù)采集易、使用難
很多傳統(tǒng)企業(yè)（像運營商、保險公司、能源、銀行等）和政府行業(yè)對在這塊的困惑就特別多。他們掌握著大量數(shù)據(jù)，但不知道該怎么用。筆者曾經在IT運維行業(yè)工作，每天各種指標的采集積攢的數(shù)據(jù)量巨大，由于存儲空間限制，大量的數(shù)據(jù)被無法存儲，只能存儲15天或者30天的數(shù)據(jù)，因而其實這些數(shù)據(jù)是無法被使用的。
所以，盲目地為采集而采集數(shù)據(jù)，其實根本沒有多大意義。
潤乾信息做了很多年數(shù)據(jù)分析，積累了很多經驗，有一整套自己的數(shù)據(jù)計算體系、數(shù)據(jù)分析系統(tǒng)、數(shù)據(jù)清洗、數(shù)據(jù)壓縮、數(shù)據(jù)展示等，在數(shù)據(jù)應用方面能很好的幫助業(yè)內的大數(shù)據(jù)平臺、數(shù)據(jù)采集等伙伴。
2、建立數(shù)據(jù)分析團隊不一定能找出問題
如果對業(yè)務不了解，只能給出機械的分析結果，并不能有效地指導業(yè)務發(fā)展。
做分析的目的是為了引導一個正確的、有效的、可實施的結果。但是不懂業(yè)務的數(shù)據(jù)分析經常性的問題是：通過數(shù)據(jù)分析得到這些趨勢！而這些趨勢是否有用是否真實的反映業(yè)務的實際狀況，則不得而知！原因在于分析師一般會基于報表維度的數(shù)據(jù)給出分析結果。
由于各個部門業(yè)務不同，他們對數(shù)據(jù)的需求也不同。不同的業(yè)務系統(tǒng)的數(shù)據(jù)又放置于不同的數(shù)據(jù)庫，甚至數(shù)據(jù)結構也不一致，分析團隊也可能不清楚具體業(yè)務部門在整個業(yè)務運營中做了什么樣的活動。
比如在IT運維行業(yè)，很多的事故都是由于某些事件發(fā)生帶來的結果，如果不能把事件和各類告警信息進行關聯(lián)分析，而只是分析告警信號，在實際的運維中也很難給出具體的處理方式。運維的目標“監(jiān)、管、治”其實是很難實現(xiàn)的。甚至是不可能的。
而在互聯(lián)網(wǎng)和電商等行業(yè)的運營中，可以簡單的看到某些數(shù)據(jù)發(fā)生的變化，比如營收突變。但是是什么事件帶來的呢？真正的用戶行為是什么樣的？在哪些時段、在哪些場景下、什么樣的營銷手段會觸發(fā)這些數(shù)據(jù)的變化？這些變化還可能與行業(yè)格局、行業(yè)趨勢、業(yè)務現(xiàn)狀、競爭對手、銷售政策、主要威脅、相似手段、可借鑒措施、數(shù)據(jù)波動……等等都有關聯(lián)。
數(shù)據(jù)分析團隊要有能力把各類數(shù)據(jù)綜合分析，把事件、關聯(lián)數(shù)據(jù)、非關聯(lián)數(shù)據(jù)、結構化數(shù)據(jù)、半結構化數(shù)據(jù)，甚至企業(yè)的各類文本進行綜合計算和分析后才能給出。
所以，建立一個良好的數(shù)據(jù)平臺，能靈活的處理各類不同數(shù)據(jù)源、異構數(shù)據(jù)庫、從臟數(shù)據(jù)源中提取有用的數(shù)據(jù)、快速的清洗、整理、上載和存儲就十分的必要，真正的幫助數(shù)據(jù)分析與業(yè)務的結合，給出具有指導性的建議和預測。
3、漂亮的分析報表展現(xiàn)不是給出最優(yōu)的解決方案的必要條件，更不是充分條件
近來報表軟件、商業(yè)智能、OLAP、數(shù)據(jù)分析等概念非?；馃幔鳛殛P鍵基礎環(huán)節(jié)的報表軟件在市場上也是層出不窮，讓人眼花繚亂，國內外的加起來細數(shù)一下，大概有二三十種之多。這些產品看起來實現(xiàn)的功能都差不多，那么，應當怎樣選一款滿足自己需求的報表軟件?在選型過程中不被廠商的宣傳和演示牽著鼻子走？
“銷盟”經過與眾多的用戶和集成商溝通后發(fā)現(xiàn)，許多用戶在選擇報表軟件時會有許多認知誤區(qū)。
最常見的誤區(qū)就是報表中間件和報表平臺分不清楚，在演示過程中被平臺類產品豐富的功能吸引，但其實需求卻是要在項目中嵌入使用的報表工具。一方面可能為多余的功能買單，另一方面還會帶來難以集成的問題，多余的功能也如雞肋一般，很難發(fā)揮作用。
看似重要的美觀性其實跟報表本身和報表工具的直接關系不大。圖表是用來直觀的展示數(shù)據(jù)，方便管理者在紛雜的數(shù)據(jù)中快速判斷出業(yè)務數(shù)據(jù)的分布、趨勢、占比、同比、環(huán)比等變化規(guī)律，支持管理者決策。
圖表類型的數(shù)量及是否支持鉆取、聯(lián)動等功能是評估報表工具的重要指標之一。美觀性對于報表當然很重要，但由于有眾多開源圖形技術，這方面的比拼就已經不再是報表工具的重點了。分析師給出漂亮的報表圖形的展現(xiàn)并不能實質性的幫助驅動業(yè)務本身。
與其花時間精力去追求報表的抓人眼球的漂亮的那些華而不實的東西，不如回到“專而精”的業(yè)務分析本身，與其用美觀性衡量報表跟圖表，不如衡量報表工具對第三方圖表的集成性更有效。
銷盟的專家們認為，分析結果需要的是一個有針對性的業(yè)務的最優(yōu)解決方案，而不是簡單的漂亮圖表。要想得到這樣的結果，必須關注以下幾個問題：
多數(shù)據(jù)源、分析維度足夠才能支撐結論
分析維度有很多，各個行業(yè)、各個部門需求都不一樣。比如，在業(yè)務性能管理領域，目前來看，所有的分析,基本上就是從端口的流量比對這一個維度來分析的，這樣的結果最多是給到一個某環(huán)節(jié)的網(wǎng)元有性能問題這樣一個結論。但是事實上，還有自定義事件、流量中包含的業(yè)務數(shù)據(jù)等等，如果只是基于某一維度去分析，就沒有足夠的參數(shù)去做限定，那么也很難去支撐并決策分析結果，更談不上IT驅動業(yè)務了。
報表展示也應該與時俱進，支持多樣性數(shù)據(jù)源，信息化應用越來越廣泛了，ERP、CRM、OA、BPM等系統(tǒng)各種上馬，企業(yè)數(shù)據(jù)越來越大，報表也通常需要取到多個數(shù)據(jù)庫多個數(shù)據(jù)表的數(shù)據(jù)。所以最直接也是效果最好的方法，就是報表工具直接支持多數(shù)據(jù)源關聯(lián)，而不是先ETL做數(shù)據(jù)倉庫等工作之后再取數(shù)。
數(shù)據(jù)質量本身和解析數(shù)據(jù)的實時性、速度（效率）會嚴重干擾分析結果
分析結果能否有效地反映業(yè)務發(fā)展情況，并給出有效優(yōu)化策略的關鍵因素便是數(shù)據(jù)質量、解析數(shù)據(jù)的實時性和速度。
這些方面不過關，那么基于數(shù)據(jù)給出的分析結果便會大打折扣。比如在日志管理領域，大量的廢數(shù)據(jù)、臟數(shù)據(jù)；在互聯(lián)網(wǎng)行業(yè)，很多app，都或多或少有過被刷量的情況；在物聯(lián)網(wǎng)行業(yè)，傳感器的數(shù)據(jù)更是臟數(shù)據(jù)多多；在目前的呼叫中心行業(yè)，要求雙錄（錄音和錄屏），也存在大量的無用數(shù)據(jù)……。這種數(shù)據(jù)不僅給公司造成財務上的浪費(投資很多無用的存儲空間)，浪費大量的人力去篩選，同時也會影響正常數(shù)據(jù)，造成數(shù)據(jù)分析的困難。
報表展示的性能與容量
決定報表工具生死的往往是性能和容量指標，而這是決定分析結果的生死的重要指標。隨著大數(shù)據(jù)時代的到來，選擇報表工具時，性能指標越來越被用戶所關注。網(wǎng)絡，報表層等都可能成為性能瓶頸。而一款好的報表工具應該盡量繞開可以避免的瓶頸，如報表層就有很大的優(yōu)化空間。
對于報表內常用的多數(shù)據(jù)源對齊，排名等采用更高性能的Hash算法。報表提供緩存機制，包括模板緩存、結果緩存、分頁緩存等多種方式，提升報表服務器性能。提供集群緩存同步機制，實現(xiàn)負載均衡的服務器之間跳轉訪問時的緩存自動同步。
集成性和開放性
有些報表工具（特別是國外的產品）功能很強大，獨立使用時十分的順溜，但在國內跟各個業(yè)務系統(tǒng)集成的整體氛圍下就水土不服，缺失集成性。
方便易用的集成性要求報表展示能對應用程序提供友好全面的接口，方便用戶與各業(yè)務系統(tǒng)無縫對接。能夠適應各種環(huán)境，能以類庫方式完全集成到應用系統(tǒng)中。這樣不僅可以提高報表獲取數(shù)據(jù)時與應用系統(tǒng)數(shù)據(jù)交互的性能，還可以利用服務器的負載均衡等能力提升用戶體驗。
靈活的開放性才能適應用戶更多特殊的需求，不管是集成商還是終端用戶都可以通過豐富的API接口，全面地對報表應用進行各種操作，以需要的方式靈活地使用報表。滿足用戶各種個性化需求的自定義。
如需了解相關詳細內容，可直接與聯(lián)盟秘書處聯(lián)系。
分享是一種美德，轉載請注明來源和出處！
“相關文章閱讀”
創(chuàng)新的數(shù)據(jù)計算可以將所有的企業(yè)業(yè)務從頭再做一遍！
從天山上來的潤乾，從一陽指到六脈神劍，實現(xiàn)報表到計算的轉身（上）
從天山上來的潤乾，從一陽指到六脈神劍，實現(xiàn)報表到計算的轉身（中）
聯(lián)系客服
