工欲善其事必先利其器，數(shù)據(jù)挖掘工具于大數(shù)據(jù)技術(shù)人員相當(dāng)于名劍于俠客。本文為你介紹4種主流的數(shù)據(jù)挖掘工具，掌握了它們，你將如虎添翼！
RHadoop
R語言的強(qiáng)大之處在于統(tǒng)計分析。在沒有使用Hadoop之前，對于大數(shù)據(jù)的處理，要取樣本，假設(shè)檢驗(yàn)，做回歸，長久以來R語言都是統(tǒng)計學(xué)家專屬的工具。相比于Mahout，R語言對多數(shù)的Mahout通用算法都支持，并且還支持大量的Mahout不支持的算法，算法的增長速度比Mahout快N倍。并且開發(fā)簡單，參數(shù)配置靈活，對小型數(shù)據(jù)集運(yùn)算速度非?？?。當(dāng)然R 和Mahout擅長的領(lǐng)域并不重合。
Hadoop重點(diǎn)是全量數(shù)據(jù)存儲與分析，R語言重點(diǎn)是擁有大量數(shù)據(jù)分析算法庫，同時具有豐富的圖形展現(xiàn)組件，兩種技術(shù)放在一起，剛好取長補(bǔ)短。
RHadoop是一款Hadoop和R語言的結(jié)合的產(chǎn)品，是運(yùn)行R語言的Hadoop分布式計算平臺的簡稱。RHadoop包含三個R包 (rmr，rhdfs，rhbase)，分別是對應(yīng)Hadoop系統(tǒng)架構(gòu)中的MapReduce, HDFS,HBase 三個部分。
RHaoop運(yùn)行原理
RHadoop提供了直接基于大數(shù)據(jù)平臺之上進(jìn)行交互式編程，達(dá)到開發(fā)和部署合一的一種手段。
SAS
SAS全稱為Statistics Analysis System，被譽(yù)為國際上的標(biāo)準(zhǔn)統(tǒng)計軟件系統(tǒng)，被Gartner評為數(shù)據(jù)分析領(lǐng)域處于領(lǐng)導(dǎo)者地位的產(chǎn)品。
SAS是一個組合軟件系統(tǒng)，它由多個功能模塊組合，基本上分為四大部分：SAS數(shù)據(jù)庫部分、SAS分析核心、SAS開發(fā)呈現(xiàn)工具、SAS對分布式處理的支持及其數(shù)據(jù)倉庫設(shè)計。SAS系統(tǒng)主要完成以數(shù)據(jù)為中心的四大任務(wù)：數(shù)據(jù)訪問、數(shù)據(jù)管理、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)分析。
SAS基本部分是BASE SAS模塊。BASE SAS模塊是SAS系統(tǒng)的核心，承擔(dān)著主要的數(shù)據(jù)管理任務(wù)，并管理用戶使用環(huán)境，進(jìn)行用戶語言的處理，調(diào)用其他SAS模塊和產(chǎn)品。SAS系統(tǒng)的運(yùn)行，首先必須啟動BASE SAS模塊，它除了本身所具有數(shù)據(jù)管理、程序設(shè)計及描述統(tǒng)計計算功能以外，還是SAS系統(tǒng)的中央調(diào)度室。BASE SAS模塊除可單獨(dú)存在外，也可與其他產(chǎn)品或模塊共同構(gòu)成一個完整的系統(tǒng)，在BASE SAS的基礎(chǔ)上，還可以增加如下不同的模塊而增加不同的功能：SAS/STAT（統(tǒng)計分析模塊）、SAS/GRAPH（繪圖模塊）、SAS/QC（質(zhì)量控制模塊）、SAS/ETS（經(jīng)濟(jì)計量學(xué)和時間序列分析模塊）、SAS/OR（運(yùn)籌學(xué)模塊）、SAS/IML（交互式矩陣程序設(shè)計語言模塊）、SAS/FSP（快速數(shù)據(jù)處理的交互式菜單系統(tǒng)模塊）、SAS/AF（交互式全屏幕軟件應(yīng)用系統(tǒng)模塊）等等。
SAS提供多個統(tǒng)計過程，每個過程均含有極豐富的任選項(xiàng)，用戶還可以通過對數(shù)據(jù)集的一連串加工，實(shí)現(xiàn)更為復(fù)雜的統(tǒng)計分析。此外，SAS還提供了各類概率分析函數(shù)、分位數(shù)函數(shù)、樣本統(tǒng)計函數(shù)和隨機(jī)數(shù)生成函數(shù)，使用戶能方便地實(shí)現(xiàn)特殊統(tǒng)計要求。
SAS的用戶定位是統(tǒng)計分析的專業(yè)人員，SAS提供的統(tǒng)計分析功能很強(qiáng)大，編程語句簡潔短小，但同時也要求使用者對統(tǒng)計分析領(lǐng)域具有較高的專業(yè)知識。因此SAS的入門門檻比較高，但同時SAS能為專業(yè)統(tǒng)計分析人員提供更加全面、先進(jìn)、高效的統(tǒng)計方法，使用SAS用戶也可以方便的開發(fā)出最前沿的統(tǒng)計分析算法。
作為一種成熟、完善的商業(yè)軟件，SAS在高端市場的占有率也是其他同類軟件無法比擬的。
SPSS
SPSS是軟件英文名稱的首字母縮寫，原意為StatisticalPackage for the Social Sciences，即“社會科學(xué)統(tǒng)計軟件包”。2009年SPSS被IBM收購，成為IBM業(yè)務(wù)分析解決方案的核心構(gòu)成部分，為企業(yè)級應(yīng)用提供統(tǒng)計學(xué)分析運(yùn)算、數(shù)據(jù)挖掘、預(yù)測分析和決策支持等能力。
和SAS類似，SPSS也由多個模塊構(gòu)成，其中SPSS Base為基本模塊，其余模塊包括Advanced Models、Regression Models、Tables、Trends、Categories、Conjoint、Exact Tests、Missing ValueAnalysis和Maps等，分別用于完成某一方面的統(tǒng)計分析功能，他們均需要掛接在Base上運(yùn)行。
SPSS最突出的特點(diǎn)就是操作界面極為友好，無需要求使用者對統(tǒng)計分析有較強(qiáng)的理論基礎(chǔ)，只要掌握一定的Windows操作技能，了解統(tǒng)計分析原理，就可以使用該軟件完成數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、可視化、報表制作，是非專業(yè)統(tǒng)計人員的首選統(tǒng)計軟件。其統(tǒng)計過程包括了常用的、較為成熟的統(tǒng)計過程，還包括描述性統(tǒng)計、均值比較、一般線性模型、相關(guān)分析、回歸分析、對數(shù)線性模型、聚類分析、數(shù)據(jù)歸約、生存分析、時間序列分析等幾大類，雖然其統(tǒng)計分析功能與SAS相比仍有一定欠缺，但完全可以滿足非統(tǒng)計專業(yè)人士的工作需要。
由于SPSS的目標(biāo)定位為企業(yè)級業(yè)務(wù)分析，其目標(biāo)用戶為非統(tǒng)計專業(yè)人士，所以提供了友好的GUI界面，與SAS相比使用更簡單，入門門檻低。
STATA
STATA是STATA公司開發(fā)的一款統(tǒng)計分析軟件，在計量經(jīng)濟(jì)學(xué)領(lǐng)域應(yīng)用比較廣泛。
STATA大體上與SPSS提供的能力近似，數(shù)據(jù)管理支持?jǐn)?shù)據(jù)轉(zhuǎn)換匹配-合并、ODBC、JDBC、XML、分組處理、排序；基礎(chǔ)統(tǒng)計支持匯總、列聯(lián)表、相關(guān)檢驗(yàn)、等方差檢驗(yàn)、比例檢驗(yàn)、置信區(qū)間等；線性模型支持Bootstrap估計、jackknife估計、三階段最小平方估計、分位數(shù)回歸、GLS等；多層混合效應(yīng)模型支持連續(xù)、二元和計數(shù)結(jié)果、2/3/多因子隨機(jī)Intercepts和隨機(jī)系數(shù)模型、交叉隨機(jī)效應(yīng)、ML/REML估計、分層模型等；面板數(shù)據(jù)/橫截面時間序列分析支持帶穩(wěn)健標(biāo)準(zhǔn)誤差的隨機(jī)和混合效應(yīng)、線性混合模型、隨機(jī)效應(yīng)Probit模型、GEE、隨機(jī)和混合效應(yīng)Poisson、Arellano-Bond、工具變量回歸、AR1等；廣義線性模型支持10個鏈接函數(shù)、用戶定義連接、7種分布、ML和IRLS評估、9種方差評估、7種殘差等；非參數(shù)方法支持Wilcoxon-Mann-Whitney、Wilcoxon符合秩、Kruskal-Wallis檢驗(yàn)、Spearman相關(guān)、Kendall相關(guān)、Kolmogorov-Smirnov建議、精確二項(xiàng)式CIs等；ANOVA/MANOVA支持平衡和非平衡設(shè)計、因子、嵌套設(shè)計、重復(fù)測量等；多元方法支持因子分析、主成份分析、旋轉(zhuǎn)、多維排列、Procrustean分析、相關(guān)分析、Biplot、系統(tǒng)樹圖、用戶可擴(kuò)展分析等；聚類分析支持層次化聚類、Kmeans、Kmedian、停在規(guī)則等；重采樣和仿真算法支持蒙特卡羅仿真、Permutation檢驗(yàn)等；模型檢驗(yàn)和后驗(yàn)估計支持Wald檢驗(yàn)、LR檢驗(yàn)、線性/非線性組合、邊際效應(yīng)、Hausman檢驗(yàn)等；圖形支持線條圖、散點(diǎn)圖、條狀圖、餅圖、Hi-io圖、回歸診斷圖、生存圖、非參數(shù)Smoothers和Q-Q圖等；調(diào)查方法支持采用權(quán)重、多階段設(shè)計、分層、Poststratification、Deff、匯總表格、工具變量、Probit等；生存分析支持Kaplan-Meier評估、Nelson-Aalen評估、Cox回歸、參數(shù)模型、時間變異協(xié)方差、指數(shù)分析、Gompertz分析等；流行病學(xué)工具支持比率標(biāo)準(zhǔn)化、病例對照、匹配病例對照、Mantal-Haenszel、代謝動力學(xué)、ROC分析和ICD-9-CM等；時間序列分析支持ARIMA、ARCH/GARCH、VECM、VAR、相關(guān)圖、周期圖、白噪聲檢驗(yàn)、單元根檢驗(yàn)、Holt-Winters平滑、旋轉(zhuǎn)和遞歸估計等；極大似然方法支持NR、DFP、BFGS、BHHH、OIM、OPG、Wald檢驗(yàn)等；轉(zhuǎn)換和正態(tài)性檢驗(yàn)支持Box-Cox轉(zhuǎn)換、能力值轉(zhuǎn)換、Shapiro-Wilk檢驗(yàn)、Shapiro-Francia檢驗(yàn)等；矩陣運(yùn)算是多元統(tǒng)計分析的基礎(chǔ)，STATA提供了多元統(tǒng)計分析所需的矩陣基本運(yùn)算，包括矩陣的加、積、擬、Cholesky分解、Kronecker內(nèi)積等，還提供了特征根、特征向量、奇異值分解等高級運(yùn)算。
與SPSS等其他統(tǒng)計分析軟件不同，STATA在分析時將數(shù)據(jù)全部讀入內(nèi)存，在計算全部完成后才和磁盤交互數(shù)據(jù)，這一方面保證了計算速度，但另一方面也限制了STATA能夠處理的數(shù)據(jù)集的大小。與SPSS不同，STATA面向的用戶主要是專業(yè)用戶，因此提供的開發(fā)工具主要是STATA編程語言，入門門檻相對較高，但較SAS要遠(yuǎn)為簡單。
STATA分為STATA/MP、STATA/SE、STATA/IC、Small STATA幾個版本，其中STATA/IC 為標(biāo)準(zhǔn)版本，STATA/SE是適合大數(shù)據(jù)集的版本，STATA/MP是擁有并行處理能力的STATA/SE，Small STATA是一個免費(fèi)的、小型的、裁剪版本。
聯(lián)系客服
