轉(zhuǎn)眼間實(shí)習(xí)已去一月，之前因?yàn)楣ぷ髟蛐枰獝貉a(bǔ)大量的專業(yè)知識(shí)并加以練習(xí)，所以一直抽不開身靜下心來好好整理一下學(xué)習(xí)的成果。如今，模型的建立已經(jīng)完成，剩下的就是枯燥的參數(shù)調(diào)整工作。在這之前就先對(duì)這段時(shí)間的數(shù)據(jù)處理工作得到的經(jīng)驗(yàn)做個(gè)小總結(jié)吧。
從我個(gè)人的理解來看，數(shù)據(jù)分析工作，在絕大部分情況下的目的在于用統(tǒng)計(jì)學(xué)的手段揭示數(shù)據(jù)所呈現(xiàn)的一些有用的信息，比如事物的發(fā)展趨勢(shì)和規(guī)律；又或者是去定位某種或某些現(xiàn)象的原因；也可以是檢驗(yàn)?zāi)撤N假設(shè)是否正確（心智模型的驗(yàn)證）。因此，數(shù)據(jù)分析工作常常用來支持決策的制定。
現(xiàn)代統(tǒng)計(jì)學(xué)已經(jīng)提供了相當(dāng)豐富的數(shù)據(jù)處理手段，但統(tǒng)計(jì)學(xué)的局限性在于，它只是在統(tǒng)計(jì)的層面上解釋數(shù)據(jù)所包含的信息，并不能從數(shù)據(jù)上得到原理上的結(jié)果。也就是說統(tǒng)計(jì)學(xué)并不能解釋為什么數(shù)據(jù)是個(gè)樣子，只能告訴我們數(shù)據(jù)展示給了我們什么。因此，統(tǒng)計(jì)學(xué)無法揭示系統(tǒng)性風(fēng)險(xiǎn)，這也是我們?cè)诶媒y(tǒng)計(jì)學(xué)作為數(shù)據(jù)處理工具的時(shí)候需要注意的一點(diǎn)。數(shù)據(jù)挖掘也是這個(gè)道理。因?yàn)閿?shù)據(jù)挖掘的原理大多也是基于統(tǒng)計(jì)學(xué)的理論，因此所挖掘出的信息并不一定具有普適性。所以，在決策制定上，利用統(tǒng)計(jì)結(jié)果+專業(yè)知識(shí)解釋才是最保險(xiǎn)的辦法。然而，在很多時(shí)候，統(tǒng)計(jì)結(jié)果并不能用已有的知識(shí)解釋其原理，而統(tǒng)計(jì)結(jié)果又確實(shí)展示出某種或某些穩(wěn)定的趨勢(shì)。為了抓住寶貴的機(jī)會(huì)，信任統(tǒng)計(jì)結(jié)果，僅僅依據(jù)統(tǒng)計(jì)分析結(jié)果來進(jìn)行決策也是很普遍的事情，只不過要付出的代價(jià)便是承受系統(tǒng)環(huán)境的變化所帶來的風(fēng)險(xiǎn)。
用于數(shù)據(jù)分析的工具很多，從最簡(jiǎn)單的Office組件中的Excel到專業(yè)軟件R、Matlab，功能從簡(jiǎn)單到復(fù)雜，可以滿足各種需求。在這里只能是對(duì)我自己實(shí)際使用的感受做一個(gè)總結(jié)。
Excel：這個(gè)軟件大多數(shù)人應(yīng)該都是比較熟悉的。Excel滿足了絕大部分辦公制表的需求，同時(shí)也擁有相當(dāng)優(yōu)秀的數(shù)據(jù)處理能力。其自帶的ToolPak（分析工具庫）和Solver（規(guī)劃求解加載項(xiàng)）可以完成基本描述統(tǒng)計(jì)、方差分析、統(tǒng)計(jì)檢驗(yàn)、傅立葉分析、線性回歸分析和線性規(guī)劃求解工作。這些功能在Excel中沒有默認(rèn)打開，需要在Excel選項(xiàng)中手動(dòng)開啟。除此以外，Excel也提供較為常用的統(tǒng)計(jì)圖形繪制功能。這些功能涵蓋了基本的統(tǒng)計(jì)分析手段，已經(jīng)能夠滿足絕大部分?jǐn)?shù)據(jù)分析工作的需求，同時(shí)也提供相當(dāng)友好的操作界面，對(duì)于具備基本統(tǒng)計(jì)學(xué)理論的用戶來說是十分容易上手的。
SPSS：原名Statistical Package for the Social Sciences（社會(huì)科學(xué)統(tǒng)計(jì)軟件包），現(xiàn)在已被IBM收購(gòu)，改名后仍然是叫SPSS，不過全稱變更為Statistical Product and Service Solutions（統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案）。SPSS是一個(gè)專業(yè)的統(tǒng)計(jì)分析軟件。除了基本的統(tǒng)計(jì)分析功能之外，還提供非線性回歸、聚類分析（Clustering）、主成份分析（PCA）和基本的時(shí)序分析。SPSS在某種程度上可以進(jìn)行簡(jiǎn)單的數(shù)據(jù)挖掘工作，比如K-Means聚類，不過數(shù)據(jù)挖掘的主要工作一般都是使用其自家的Clementine（現(xiàn)已改名為SPSS Modeler）完成。需要提一點(diǎn)的是SPSS Modeler的建模功能非常強(qiáng)大且智能化，同時(shí)還可以通過其自身的CLEF（Clementine Extension Framework）框架和Java開發(fā)新的建模插件，擴(kuò)展性相當(dāng)好，是一個(gè)不錯(cuò)的商業(yè)BI方案。
R：R是一個(gè)開源的分析軟件，也是分析能力不亞于SPSS和Matlab等商業(yè)軟件的輕量級(jí)（僅指其占用空間極小，功能卻是重量級(jí)的）分析工具。官網(wǎng)地址：
www.r-project.org。R支持Windows、Linux和Mac OS系統(tǒng)，對(duì)于用戶來說非常方便。R和Matlab都是通過命令行來進(jìn)行操作，這一點(diǎn)和適合有編程背景或喜好的數(shù)據(jù)分析人員。R的官方包中已經(jīng)自帶有相當(dāng)豐富的分析命令和函數(shù)以及主要的作圖工具。但R最大的優(yōu)點(diǎn)在于其超強(qiáng)的擴(kuò)展性，可以通過下載擴(kuò)展包來擴(kuò)展其分析功能，并且這些擴(kuò)展包也是開源的。R社區(qū)擁有一群非常熱心的貢獻(xiàn)者，這使得R的分析功能一直都很豐富。R也是我目前在工作中分析數(shù)據(jù)使用的主力工具。雖然工作中要求用Matlab編程生成結(jié)果，但是實(shí)際分析的時(shí)候我基本都是用R來做的。因?yàn)樵谡Z法方面，R比Matlab要更加自然一些。但是R的循環(huán)效率似乎并不是太高。
Matlab：也是一個(gè)商業(yè)軟件，從名稱上就可以看出是為數(shù)學(xué)服務(wù)的。Matlab的計(jì)算主要基于矩陣。功能上是沒話說，涵蓋了生物統(tǒng)計(jì)、信號(hào)處理、金融數(shù)據(jù)分析等一系列領(lǐng)域，是一個(gè)功能很強(qiáng)大的數(shù)學(xué)計(jì)算工具。是的，是數(shù)學(xué)計(jì)算工具，這東西的統(tǒng)計(jì)功能只不過是它的一部分，這東西體積也不小，吃掉我近3個(gè)G的空間。對(duì)于我來說，Matlab是一個(gè)過于強(qiáng)大的工具，很多功能是用不上的。當(dāng)然，我也才剛剛上手而已，才剛剛搞明白怎么用這個(gè)怪物做最簡(jiǎn)單的Garch（1,1）模型。但毫無疑問，Matlab基本上能滿足各領(lǐng)域計(jì)算方面的需求。
以上這些軟件算是主流了，數(shù)據(jù)分析軟件遠(yuǎn)不止這些，還有Eviews、S-plus等工具，因?yàn)闆]用過，所以也就不說了。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
