網絡化時代信息膨脹成為必然，如何準確、高效地從豐富而膨脹的數據中篩選出對經營決策有用的信息已經成為企業(yè)和機構迫切需要解決的問題，針對于此，海量數據挖掘技術應運而生，并顯示出強大的解決能力。Gartner的報告指出，數據挖掘會成為未來10年內重要的技術之一。
一、海量數據挖掘關鍵技術隨時代而變化
所謂海量數據挖掘，是指應用一定的算法，從海量的數據中發(fā)現有用的信息和知識。海量數據挖掘關鍵技術主要包括海量數據存儲、云計算、并行數據挖掘技術、面向數據挖掘的隱私保護技術和數據挖掘集成技術。
1.海量數據存儲
海量存儲系統(tǒng)的關鍵技術包括并行存儲體系架構、高性能對象存儲技術、并行I/O訪問技術、海量存儲系統(tǒng)高可用技術、嵌入式64位存儲操作系統(tǒng)、數據保護與安全體系、綠色存儲等。
海量數據存儲系統(tǒng)為云計算、物聯網等新一代高新技術產業(yè)提供核心的存儲基礎設施；為我國的一系列重大工程如平安工程等起到了核心支撐和保障作用；海量存儲系統(tǒng)已經使用到石油、氣象、金融、電信等國家重要行業(yè)與部門。發(fā)展具有自主知識產權、達到國際先進水平的海量數據存儲系統(tǒng)不僅能夠填補國內在高端數據存儲系統(tǒng)領域的空白，而且可以滿足國內許多重大行業(yè)快速增長的海量數據存儲需要，并創(chuàng)造巨大的經濟效益。
2.云計算
目前云計算的相關應用主要有云物聯、云安全、云存儲。云存儲是在云計算（cloud computing）概念上延伸和發(fā)展出來的新概念，是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。
當云計算系統(tǒng)運算和處理的核心是大量數據的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設備，那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng)，所以云存儲是一個以數據存儲和管理為核心的云計算系統(tǒng)。
3.并行數據挖掘技術
高效率的數據挖掘是人們所期望的，但當數據挖掘的對象是一個龐大的數據集或是許多廣泛分布的數據源時，效率就成為數據挖掘的瓶頸。隨著并行處理技術的快速發(fā)展，用并行處理的方法來提高數據挖掘效率的需求越來越大。
并行數據挖掘涉及到了一系列體系結構和算法方面的技術，如硬件平臺的選擇（共享內存的或者分布式的）、并行的策略（任務并行、數據并行或者任務并行與數據并行結合）、負載平衡的策略（靜態(tài)負載平衡或者動態(tài)負載平衡）、數據劃分的方式（橫向的或者縱向的）等。處理并行數據挖掘的策略主要涉及三種算法：并行關聯規(guī)則挖掘算法、并行聚類算法和并行分類算法。
4.面向數據挖掘的隱私保護技術
數據挖掘在產生財富的同時也隨之出現了隱私泄露的問題。如何在防止隱私泄露的前提下進行數據挖掘，是信息化時代各行業(yè)現實迫切的需求。
基于隱私保護的數據挖掘是指采用數據擾亂、數據重構、密碼學等技術手段，能夠在保證足夠精度和準確度的前提下，使數據挖掘者在不觸及實際隱私數據的同時，仍能進行有效的挖掘工作。
受數據挖掘技術多樣性的影響，隱私保護的數據挖掘方法呈現多樣性?；陔[私保護的數據挖掘技術可從4個層面進行分類：從數據的分布情況，可以分為原始數據集中式和分布式兩大類隱私保護技術；從原始數據的隱藏情況，可以分為對原始數據進行擾動、替換和匿名隱藏等隱私保護技術；從數據挖掘技術層面，可以分為針對分類挖掘、聚類挖掘、關聯規(guī)則挖掘等隱私保護技術；從隱藏內容層面，可以分為原始數據隱藏、模式隱藏。
5.數據挖掘集成技術
數據挖掘體系框架由三部分組成：數據準備體系、建模與挖掘體系、結果解釋與評價體系。其中最為核心的部分是建模與挖掘體系，它主要是根據挖掘主題和目標，通過挖掘算法和相關技術（如統(tǒng)計學、人工智能、數據庫、相關軟件技術等），對數據進行分析，挖掘出數據之間內在的聯系和潛在的規(guī)律。大體上，數據挖掘應用集成可分為幾類：數據挖掘算法的集成、數據挖掘與數據庫的集成、數據挖掘與數據倉庫的集成、數據挖掘與相關軟件技術的集成、數據挖掘與人工智能技術的集成等。
二、海量數據挖掘應用廣泛但深度不足
2011年中國數據挖掘軟件市場規(guī)模達接近2億元，2012-2014年還將快速增長。從數據挖掘應用行業(yè)上看，國內大多數的用戶都來自電信、銀行、保險、稅務、政府等領域。應用主題主要包含：消費者行為分析、信用評分與風險管理、欺詐行為偵測、購物籃分析等方面。目前，國內數據挖掘應用仍停留在初級階段，行業(yè)企業(yè)大規(guī)模的運用數據挖掘技術尚需時日。
1.國內數據挖掘應用可分為3個層次
從數據挖掘應用層次上看，大體可以分為三個層次：第一層次是把挖掘工具當作單獨的工具來用，不用專門建設系統(tǒng)；第二層次則是把數據挖掘模塊嵌入到系統(tǒng)中，成為部門級應用；第三層次是企業(yè)級應用，相當于把挖掘系統(tǒng)作為整個企業(yè)運營的中央處理器。目前，國內的數據挖掘應用的企業(yè)基本處于第一層次，偶爾某些企業(yè)用戶能夠做到第二層次。
2.國內有代表性的數據挖掘行業(yè)應用情況簡評
（1）通信業(yè)：國內應用數據挖掘的企業(yè)還是以通信企業(yè)（移動、聯通、電信）為首，應用的深度和廣度都處于領先地位。
（2）互聯網企業(yè)：隨著電子商務的普及，各大商務網站已經大規(guī)模使用數據挖掘技術，并且迅速從中取得商業(yè)價值。例如，國內很多網上商城已經開始使用數據挖掘技術進行客戶聚類或者商品關聯推廣。另外，搜索引擎企業(yè)使用數據挖掘技術的需求也非常迫切。
（3）政府部門：我國政府部門中使用數據挖掘技術比較領先的是稅務系統(tǒng)。數據挖掘在電子政務中的應用，更多的涉及到報表填制、數據統(tǒng)計。
（4）國內金融行業(yè)：操作型數據挖掘應用在國內金融行業(yè)應用廣泛，尤其是信貸評審領域。中小型銀行數據挖掘需求將是未來金融行業(yè)數據挖掘市場的主要增長點。未來5年時間里，數據挖掘應用在金融行業(yè)仍將高速發(fā)展。
（5）國內零售業(yè)：跟國外相比，國內零售業(yè)對數據挖掘的應用并不太熱衷，這可能與客戶信息的完整性有關。但是在一些大型的超市、百貨、電器等銷售企業(yè)，數據挖掘技術已經應用，未來還有進一步的應用空間。
（6）現代工業(yè)：制造業(yè)將是未來數據挖掘新的增長點。目前，作為現代化生產主力的工業(yè)部門國內的數據挖掘技術應用卻不多，只在電力部門火力發(fā)電方向有一些系統(tǒng)的應用，其他領域只有少數零散的應用。
聯系客服
