版權(quán)所有?德塔精要，轉(zhuǎn)載請注明出處

一概述說明

傳統(tǒng)的業(yè)務(wù)系統(tǒng)在運行較長周期后會積累了大量歷史數(shù)據(jù)，這些海量數(shù)據(jù)卻沒有得到有效的分析和利用，只是對數(shù)據(jù)進行簡單的統(tǒng)計分析獲得一些表面、淺顯、價值不高的結(jié)果。構(gòu)建一個大數(shù)據(jù)分析平臺，結(jié)合多個業(yè)務(wù)系統(tǒng)從中抽取海量數(shù)據(jù)進行管理、整合、分析和利用，從中發(fā)現(xiàn)潛在問題和有價值的規(guī)律，并通過可視化的方式進行展示，能夠為管理層提供科學(xué)決策的支持，提升企業(yè)業(yè)務(wù)能力和效益。

二大數(shù)據(jù)構(gòu)建目標(biāo)

(1)實現(xiàn)數(shù)據(jù)的共享和交換。將各應(yīng)用系統(tǒng)的數(shù)據(jù)進行集成和整合，使來源各異、種類不一的各類數(shù)據(jù)可以相互使用，豐富數(shù)據(jù)的來源，打破系統(tǒng)間的信息孤島，實現(xiàn)數(shù)據(jù)的共享和應(yīng)用。

(2)大數(shù)據(jù)的采集和存儲。研制數(shù)據(jù)適配接口，對接各應(yīng)用系統(tǒng)獲取各類異構(gòu)數(shù)據(jù)，并采用大數(shù)據(jù)主流的框架和系統(tǒng)對數(shù)據(jù)進行統(tǒng)一存儲，為數(shù)據(jù)的挖掘和分析打好基礎(chǔ)。

(3)大數(shù)據(jù)分析與決策。采用數(shù)據(jù)挖掘、數(shù)理統(tǒng)計等相關(guān)技術(shù)，構(gòu)建大數(shù)據(jù)分析框架，提取數(shù)據(jù)中隱含的、未知的、極具潛在應(yīng)用價值的信息和規(guī)律，為企業(yè)的各項工作提供決策和指導(dǎo)。

三大數(shù)據(jù)構(gòu)建原則

(1)安全性。大數(shù)據(jù)分析平臺應(yīng)采取安全性高的訪問認(rèn)證機制，同時在平臺建設(shè)中要充分重視系統(tǒng)自身的安全性以及其他應(yīng)用系統(tǒng)的安全性。

(2)可擴展性。大數(shù)據(jù)的分析和應(yīng)用是一項長期持久的工作，隨著業(yè)務(wù)的變化，對于信息平臺的規(guī)模和要求也會不斷變化。因此，要求平臺的設(shè)計和實施要具有良好的擴展性，以滿足不斷發(fā)展變化的要求。

（3）靈活性。在平臺的設(shè)計和實施中要考慮到與其他應(yīng)用系統(tǒng)的整合，開發(fā)出多個類型的接口，能夠靈活接入其他系統(tǒng)、拓展服務(wù)類型。

四大數(shù)據(jù)總體框架

基于Hadoop技術(shù)的數(shù)據(jù)分析平臺自下而上一般分為三個部分，分別為：數(shù)據(jù)層、大數(shù)據(jù)采集與存儲、數(shù)據(jù)分析及展示。

(1)數(shù)據(jù)層，針對不同系統(tǒng)進行分析，制定系統(tǒng)數(shù)據(jù)采集范圍與目標(biāo)，收集各個業(yè)務(wù)系統(tǒng)產(chǎn)生的各類數(shù)據(jù)，將各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行整合，為大數(shù)據(jù)的分析提供支撐。

(2)大數(shù)據(jù)采集與存儲旨在為各類異構(gòu)數(shù)據(jù)研制適配接口，與其他各系統(tǒng)對接，并為數(shù)據(jù)提供適配、轉(zhuǎn)換、存儲等基本管理功能，基本步驟包括：

a.數(shù)據(jù)抽?。?/strong>針對大數(shù)據(jù)分析平臺需要采集的各類數(shù)據(jù)，分別有針對性地研制適配接口。對于已有的信息系統(tǒng)，研發(fā)對應(yīng)的接口模塊與各信息系統(tǒng)對接，不能實現(xiàn)數(shù)據(jù)共享接口的系統(tǒng)通過ETL工具進行數(shù)據(jù)采集，支持多種類型數(shù)據(jù)庫，如SQL SERVER, ORACLE, ACCESS等數(shù)據(jù)庫，按照相應(yīng)規(guī)范對數(shù)據(jù)進行清洗轉(zhuǎn)換，從而實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲管理。對于其他數(shù)據(jù)，需要具體根據(jù)數(shù)據(jù)情況實現(xiàn)相關(guān)接口，利用對應(yīng)接口獲取相關(guān)數(shù)據(jù)信息，進而完成數(shù)據(jù)的抽取。

b、數(shù)據(jù)預(yù)處理：為使大數(shù)據(jù)分析平臺的MAPREDUCE算法能更方便對數(shù)據(jù)進行處理，同時為了使得數(shù)據(jù)的存儲機制擴展性、容錯性更好，需要把通過數(shù)據(jù)按照相應(yīng)關(guān)聯(lián)性進行組合，并將據(jù)轉(zhuǎn)化為文本格式，作為文件存儲下來。

c、數(shù)據(jù)存儲：為了提升數(shù)據(jù)存儲的擴展性和容錯性，采用主流的大數(shù)據(jù)框架Hadoop的HDFS文件系統(tǒng)對各類數(shù)據(jù)統(tǒng)一進行文本化存儲，數(shù)據(jù)按相應(yīng)規(guī)則存儲，實現(xiàn)每日保存一套完整數(shù)據(jù)文件集，形成數(shù)據(jù)倉庫。

(3)數(shù)據(jù)分析和展示是核心業(yè)務(wù)層，通過數(shù)據(jù)報表工具，根據(jù)需求制定多樣的，針對性的數(shù)據(jù)報表。通過基于的Hadoop的MapReduce編程模型實現(xiàn)的數(shù)據(jù)分析系統(tǒng)，針對存儲的數(shù)據(jù)進行數(shù)據(jù)處理、算法運行、結(jié)果轉(zhuǎn)換操作，將結(jié)果保存為報表文件，每日形成的報表文件集。報表展現(xiàn)系統(tǒng)將生成的報表文件以可視化方式進行展現(xiàn)。