大數(shù)據(jù)：數(shù)據(jù)分析方法論是什么？

2016-04-27 11:01

數(shù)據(jù)分析方法論重點包括兩塊，一塊是統(tǒng)計分析方法論：描述統(tǒng)計、假設(shè)檢驗、相關(guān)分析、方差分析、回歸分析、聚類分析、判別分析、主成分與因子分析、時間序列分析、決策樹等；

一塊是營銷管理常用分析方法論：SWOT、4P、PEST、SMART、5W2H、User behavior等。

一、統(tǒng)計分析方法論：

1.描述統(tǒng)計（Descriptive statistics）：描述統(tǒng)計是通過圖表或數(shù)學(xué)方法，對數(shù)據(jù)資料進(jìn)行整理、分析，并對數(shù)據(jù)的分布狀態(tài)、數(shù)字特征和隨機(jī)變量之間關(guān)系進(jìn)行估計和描述的方法。目的是描述數(shù)據(jù)特征，找出數(shù)據(jù)的基本規(guī)律。描述統(tǒng)計分為集中趨勢分析和離中趨勢分析和相關(guān)分析三大部分。

（1）數(shù)據(jù)的頻數(shù)分析：在數(shù)據(jù)的預(yù)處理部分，我們曾經(jīng)提到利用頻數(shù)分析和交叉頻數(shù)分析來檢驗異常值。此外，頻數(shù)分析也可以發(fā)現(xiàn)一些統(tǒng)計規(guī)律。比如說，收入低的被調(diào)查者用戶滿意度比收入高的被調(diào)查者高，或者女性的用戶滿意度比男性低等。不過這些規(guī)律只是表面的特征，在后面的分析中還要經(jīng)過檢驗。

（2）數(shù)據(jù)的集中趨勢分析：數(shù)據(jù)的集中趨勢分析是用來反映數(shù)據(jù)的一般水平，常用的指標(biāo)有平均值、中位數(shù)和眾數(shù)等。各指標(biāo)的具體意義如下：

平均值：是衡量數(shù)據(jù)的中心位置的重要指標(biāo)，反映了一些數(shù)據(jù)必然性的特點，包括算術(shù)平均值、加權(quán)算術(shù)平均值、調(diào)和平均值和幾何平均值。

中位數(shù)：是另外一種反映數(shù)據(jù)的中心位置的指標(biāo)，其確定方法是將所有數(shù)據(jù)以由小到大的順序排列，位于中央的數(shù)據(jù)值就是中位數(shù)。

眾數(shù)：是指在數(shù)據(jù)中發(fā)生頻率最高的數(shù)據(jù)值。

如果各個數(shù)據(jù)之間的差異程度較小，用平均值就有較好的代表性；而如果數(shù)據(jù)之間的差異程度較大，特別是有個別的極端值的情況，用中位數(shù)或眾數(shù)有較好的代表性。

（3）數(shù)據(jù)的離散程度分析：數(shù)據(jù)的離散程度分析主要是用來反映數(shù)據(jù)之間的差異程度，常用的指標(biāo)有方差和標(biāo)準(zhǔn)差。方差是標(biāo)準(zhǔn)差的平方，根據(jù)不同的數(shù)據(jù)類型有不同的計算方法。

（4）數(shù)據(jù)的分布：在統(tǒng)計分析中，通常要假設(shè)樣本的分布屬于正態(tài)分布，數(shù)據(jù)的正態(tài)性離群值檢驗，已知標(biāo)準(zhǔn)差Nair檢驗，未知標(biāo)準(zhǔn)差時，有Grubbs檢驗，Dixon檢驗，偏度-峰度法等。其中常用偏度-峰度法需要用偏度和峰度兩個指標(biāo)來檢查樣本是否符合正態(tài)分布。偏度衡量的是樣本分布的偏斜方向和程度；而峰度衡量的是樣本分布曲線的尖峰程度。一般情況下，如果樣本的偏度接近于0，而峰度接近于3，就可以判斷總體的分布接近于正態(tài)分布。

（5）繪制統(tǒng)計圖：用圖形的形式來表達(dá)數(shù)據(jù)，比用文字表達(dá)更清晰、更簡明。在SPSS軟件里，可以很容易的繪制各個變量的統(tǒng)計圖形，包括條形圖、餅圖和折線圖等。

2.假設(shè)檢驗：是數(shù)理統(tǒng)計學(xué)中根據(jù)一定假設(shè)條件由樣本推斷總體的一種方法。具體作法是：根據(jù)問題的需要對所研究的總體作某種假設(shè)，記作H0；選取合適的統(tǒng)計量，這個統(tǒng)計量的選取要使得在假設(shè)H0成立時，其分布為已知；由實測的樣本，計算出統(tǒng)計量的值，并根據(jù)預(yù)先給定的顯著性水平進(jìn)行檢驗，作出拒絕或接受假設(shè)H0的判斷。常用的假設(shè)檢驗方法有u—檢驗法、t檢驗法、χ2檢驗法(卡方檢驗)、F—檢驗法，秩和檢驗等。

3.相關(guān)分析：相關(guān)分析是研究現(xiàn)象之間是否存在某種依存關(guān)系，并對具體有依存關(guān)系的現(xiàn)象探討其相關(guān)方向以及相關(guān)程度，是研究隨機(jī)變量之間的相關(guān)關(guān)系的一種統(tǒng)計方法。常見的有線性相關(guān)分析、偏相關(guān)分析和距離分析。相關(guān)分析與回歸分析在實際應(yīng)用中有密切關(guān)系。然而在回歸分析中，所關(guān)心的是一個隨機(jī)變量Y對另一個（或一組）隨機(jī)變量X的依賴關(guān)系的函數(shù)形式。而在相關(guān)分析中，所討論的變量的地位一樣，分析側(cè)重于隨機(jī)變量之間的種種相關(guān)特征。例如，以X、Y分別記小學(xué)生的數(shù)學(xué)與語文成績，感興趣的是二者的關(guān)系如何，而不在于由X去預(yù)測Y。

4.方差分析(Analysis of Variance，簡稱ANOVA)：又稱“變異數(shù)分析”或“F檢驗”，是R.A.Fisher發(fā)明的，用于兩個及兩個以上樣本均數(shù)差別的顯著性檢驗。由于各種因素的影響，研究所得的數(shù)據(jù)呈現(xiàn)波動狀。造成波動的原因可分成兩類，一是不可控的隨機(jī)因素，另一是研究中施加的對結(jié)果形成影響的可控因素。

方差分析是從觀測變量的方差入手，研究諸多控制變量中哪些變量是對觀測變量有顯著影響的變量。

5.回歸分析：回歸主要的種類有：線性回歸，曲線回歸，二元logistic回歸，多元logistic回歸。回歸分析的應(yīng)用是非常廣泛的，統(tǒng)計軟件包使各種回歸方法計算十分方便。

一般來說，回歸分析是通過規(guī)定因變量和自變量來確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實測數(shù)據(jù)來求解模型的各個參數(shù)，然后評價回歸模型是否能夠很好的擬合實測數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進(jìn)一步預(yù)測。

6.聚類分析：聚類主要解決的是在“物以類聚、人以群分”，比如以收入分群，高富帥VS矮丑窮；比如按職場分群，職場精英VS職場小白等等。

聚類的方法層出不窮，基于用戶間彼此距離的長短來對用戶進(jìn)行聚類劃分的方法依然是當(dāng)前最流行的方法。大致的思路是這樣的：首先確定選擇哪些指標(biāo)對用戶進(jìn)行聚類；然后在選擇的指標(biāo)上計算用戶彼此間的距離，距離的計算公式很多，最常用的就是直線距離（把選擇的指標(biāo)當(dāng)作維度、用戶在每個指標(biāo)下都有相應(yīng)的取值，可以看作多維空間中的一個點，用戶彼此間的距離就可理解為兩者之間的直線距離。）；最后聚類方法把彼此距離比較短的用戶聚為一類，類與類之間的距離相對比較長。

常用的算法k-means、分層、FCM等。

7.判別分析：從已知的各種分類情況中總結(jié)規(guī)律（訓(xùn)練出判別函數(shù)），當(dāng)新樣品進(jìn)入時，判斷其與判別函數(shù)之間的相似程度（概率最大，距離最近，離差最小等判別準(zhǔn)則）。

常用判別方法：最大似然法，距離判別法，F(xiàn)isher判別法，Bayes判別法，逐步判別法等。

注意事項：

a. 判別分析的基本條件：分組類型在兩組以上，解釋變量必須是可測的；

b. 每個解釋變量不能是其它解釋變量的線性組合（比如出現(xiàn)多重共線性情況時，判別權(quán)重會出現(xiàn)問題）；

c. 各解釋變量之間服從多元正態(tài)分布（不符合時，可使用Logistic回歸替代），且各組解釋變量的協(xié)方差矩陣相等（各組協(xié)方方差矩陣有顯著差異時，判別函數(shù)不相同）。

相對而言，即使判別函數(shù)違反上述適用條件，也很穩(wěn)健，對結(jié)果影響不大。

應(yīng)用領(lǐng)域：對客戶進(jìn)行信用預(yù)測，尋找潛在客戶（是否為消費者，公司是否成功，學(xué)生是否被錄用等等），臨床上用于鑒別診斷。

8.主成分與因子分析：主成分分析基本原理：利用降維（線性變換)的思想，在損失很少信息的前提下把多個指標(biāo)轉(zhuǎn)化為幾個綜合指標(biāo)（主成分),即每個主成分都是原始變量的線性組合,且各個主成分之間互不相關(guān),使得主成分比原始變量具有某些更優(yōu)越的性能（主成分必須保留原始變量90%以上的信息），從而達(dá)到簡化系統(tǒng)結(jié)構(gòu)，抓住問題實質(zhì)的目的。

因子分析基本原理：利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，將變量表示成為各因子的線性組合，從而把一些具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合因子。（因子分析是主成分的推廣，相對于主成分分析，更傾向于描述原始變量之間的相關(guān)關(guān)系）。

9.時間序列分析：經(jīng)典的統(tǒng)計分析都假定數(shù)據(jù)序列具有獨立性，而時間序列分析則側(cè)重研究數(shù)據(jù)序列的互相依賴關(guān)系。后者實際上是對離散指標(biāo)的隨機(jī)過程的統(tǒng)計分析，所以又可看作是隨機(jī)過程統(tǒng)計的一個組成部分。例如，記錄了某地區(qū)第一個月，第二個月，……，第N個月的降雨量，利用時間序列分析方法，可以對未來各月的雨量進(jìn)行預(yù)報。

10.決策樹(Decision Tree）：是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率，評價項目風(fēng)險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。在機(jī)器學(xué)習(xí)中，決策樹是一個預(yù)測模型，他代表的是對象屬性與對象值之間的一種映射關(guān)系。Entropy = 系統(tǒng)的凌亂程度，使用算法ID3, C4.5和C5.0生成樹算法使用熵。這一度量是基于信息學(xué)理論中熵的概念。

常見的數(shù)據(jù)分析方法論大體的就是這些，結(jié)合案例多練習(xí)下基本上就明白是什么回事。

二、營銷管理方法論：

1.SWOT：