01.全局:從局部隨機(jī)性到整體確定性
把局部的隨機(jī)性轉(zhuǎn)變?yōu)檎w的確定性,是概率論解決問(wèn)題的本質(zhì)
概率論不是用來(lái)預(yù)測(cè)未來(lái),也不是對(duì)一次偶然的結(jié)果進(jìn)行計(jì)算,它是更高層次的、確定性的認(rèn)知
概率論的大廈像什么?我更愿意說(shuō):概率論不是一棟建筑,而是一個(gè)城市。我可以不知道城市里每一棟建筑的樣子,但我確定地知道這個(gè)城市的建筑模式。
“上帝”在擲骰子
02.隨機(jī):隨機(jī)性不等于不確定性
隨機(jī)性不等于不確定性。概率論研究的是隨機(jī)性,而不是不確定性。隨機(jī)性是這個(gè)事件可能出現(xiàn)的結(jié)果我都知道,只是不知道下一次會(huì)出現(xiàn)哪個(gè)結(jié)果,而不確定性,是我連可能出現(xiàn)結(jié)果的選項(xiàng)都不知道
隨機(jī)分真?zhèn)?,絕對(duì)意義上的真隨機(jī)存在于量子層面,現(xiàn)實(shí)中很難遇到;偽隨機(jī)只是披著隨機(jī)的外衣,它本身是有規(guī)律的;而我們現(xiàn)實(shí)中遇到的大部分現(xiàn)象,都是效果隨機(jī)(感覺(jué)到它的效果是隨機(jī)的),這也是概率論這門(mén)學(xué)科研究的重點(diǎn)。
隨機(jī)是這個(gè)世界的決定性力量,了解隨機(jī),你才會(huì)懂得隨機(jī)的力量,才會(huì)更好地利用隨機(jī)做出正確決策(如轉(zhuǎn)基因農(nóng)作物)
03.概率:對(duì)世界可能性的度量
任何你關(guān)心的事情,只要設(shè)定一個(gè)條件,從可能性的角度出發(fā),對(duì)某一個(gè)發(fā)生結(jié)果進(jìn)行陳述,就可以轉(zhuǎn)化成隨機(jī)事件,然后度量概率。
概率是隨機(jī)事件發(fā)生可能性大小的定量描述
概率是隨機(jī)事件在樣本空間的比率:隨機(jī)事件就是樣本空間的一個(gè)子集;反過(guò)來(lái)也成立,樣本空間里的每一個(gè)子集,也都是一個(gè)隨機(jī)事件?!半S機(jī)事件”和“樣本空間”就是子集和全集的關(guān)系。而子集和全集的比率,也就是隨機(jī)事件占樣本空間的比率,就是這個(gè)隨機(jī)事件發(fā)生的概率
樣本空間的完備性是一個(gè)幽靈。從某種角度來(lái)說(shuō),我們對(duì)世界的認(rèn)識(shí),就是對(duì)樣本空間完備性的認(rèn)識(shí)。如果樣本空間不完備,我們計(jì)算的概率就會(huì)有偏差,決策就會(huì)出錯(cuò)。
04.獨(dú)立性:隨機(jī)事件的相互關(guān)系
如果一個(gè)隨機(jī)事件發(fā)生的結(jié)果,不會(huì)影響另一個(gè)隨機(jī)事件的概率,那它們就是互相獨(dú)立的事件,反之就是非獨(dú)立事件
只有明白了隨機(jī)事件之間的關(guān)系,判斷它們是否具有獨(dú)立性,才能正確分析和度量它的概率
很多看似獨(dú)立的事件,其實(shí)都是互有聯(lián)系、互相影響的。評(píng)估隨機(jī)事件的概率時(shí),對(duì)獨(dú)立事件的設(shè)定需要格外謹(jǐn)慎。
05.概率計(jì)算:定義問(wèn)題比計(jì)算更重要
概率計(jì)算的三個(gè)法則:
“排列組合法則”:排列組合法則適用于結(jié)果有限,而且每種結(jié)果都是等可能性的情況——這個(gè)隨機(jī)事件出現(xiàn)的次數(shù)除以所有可能的結(jié)果的個(gè)數(shù)
“加法法則”:針對(duì)多個(gè)隨機(jī)事件,這些隨機(jī)事件發(fā)生的概率加和
“乘法法則”:針對(duì)多個(gè)隨機(jī)事件同時(shí)發(fā)生的概率
大部分人不會(huì)做概率題,不是因?yàn)椴粫?huì)計(jì)算,而是因?yàn)闆](méi)有看明白題目。概率計(jì)算之所以復(fù)雜,是因?yàn)楹茈y將現(xiàn)實(shí)問(wèn)題準(zhǔn)確的抽象成“對(duì)”的概率問(wèn)題。準(zhǔn)確的翻譯現(xiàn)實(shí)問(wèn)題,就是概率思維的核心,也是概率計(jì)算最復(fù)雜的地方
偷看“上帝”的安排
06.概率度量:建立整體確定性的三種方式
定義法:是一種等概率的設(shè)定,來(lái)源于自然界對(duì)稱(chēng)性的假設(shè),是一種宏觀尺度下的合理簡(jiǎn)化【拋硬幣正面朝上和反面朝上的概率相等,都是50%;一個(gè)標(biāo)準(zhǔn)的子,拋出每個(gè)點(diǎn)數(shù)的概率也相等,都是 1/6。這些概率,都是我們直接定義的?!?/span>
頻率法:是通過(guò)隨機(jī)事件發(fā)生的頻率來(lái)估算概率,要求試驗(yàn)或數(shù)據(jù)盡可能的多
迭代法:強(qiáng)調(diào)不斷迭代,可以在小規(guī)模數(shù)據(jù)下,針對(duì)事件的變化和個(gè)體的差異度量概率。先利用手頭少量的數(shù)據(jù)做推測(cè),甚至是主觀猜測(cè)一件事兒的概率,然后再通過(guò)收集來(lái)的新數(shù)據(jù),不斷調(diào)整對(duì)這件事概率的估算。最常用的方法就叫作“貝葉斯”
三種方法并不是涇渭分明,而是常常融合使用,一起更清晰和全面地認(rèn)識(shí)這個(gè)世界。頻率法可以驗(yàn)證定義法的正確性;迭代法也可以用定義法或者頻率法來(lái)獲得最初的判斷;頻率法和迭代法,又可以同時(shí)使用,相互驗(yàn)證。打個(gè)比方來(lái)說(shuō),這三種方法,就好比工具箱里的三把尺子,共同對(duì)概率進(jìn)行度量。這也是概率論和很多學(xué)科不一樣的地方。
07.頻率法:概率是對(duì)發(fā)生頻率的計(jì)算
頻率法認(rèn)為,概率就是對(duì)發(fā)生頻率的計(jì)算,只要試驗(yàn)數(shù)量或者觀測(cè)數(shù)據(jù)足夠多,隨機(jī)事件發(fā)生的頻率就會(huì)接近它的概率。比如歷史上的拋硬幣試驗(yàn)
大數(shù)定律不是基于試驗(yàn)的歸納,而是經(jīng)過(guò)了嚴(yán)格的數(shù)學(xué)證明,證明了用頻率度量概率是合理的。
現(xiàn)實(shí)中使用頻率法,往往無(wú)法獲得無(wú)限多的數(shù)據(jù),所以需要增加一些限制條件(精度誤差和置信度),來(lái)降低需要是數(shù)據(jù)量,比如常用的是95%的置信度和2%的精度誤差。
08.大數(shù)定律:局部頻率不是整體概率
大數(shù)定律被稱(chēng)為“黃金定理”,它讓我們真正能用整體的確定性來(lái)對(duì)抗局部的隨機(jī)性
但現(xiàn)實(shí)中遇到的問(wèn)題都是局部頻率,局部頻率不是整體概率,和真實(shí)的整體概率之間會(huì)存在差值
這個(gè)差值不需要通過(guò)補(bǔ)償對(duì)局部產(chǎn)生作用(也就是說(shuō)拋硬幣連續(xù)拋出10次正面下一次是反面的概率還是50%),大數(shù)定律不需要靠補(bǔ)償來(lái)實(shí)現(xiàn),而是通過(guò)均值回歸,用大量的正常數(shù)據(jù)淡化,削弱不正常數(shù)據(jù)的影響
【可以這樣理解,整體概率就像大海,現(xiàn)實(shí)的情況就像一勺糖,放在水杯中你會(huì)覺(jué)得很甜,但倒進(jìn)大海里,對(duì)大海的味道影響幾乎沒(méi)有,真實(shí)的情況和能跟整體的概率相差很遠(yuǎn),但概率還是沒(méi)有變化,而且真實(shí)情況也不會(huì)一直跟這個(gè)概率偏離,會(huì)有回歸均值的趨勢(shì),可是我們永遠(yuǎn)沒(méi)法知道是在什么時(shí)候回歸,但如果一直不回歸,我們也有理由認(rèn)為這個(gè)真實(shí)情況里面可能有貓膩,比如硬幣一邊是否更重了】
09.數(shù)學(xué)期望:對(duì)隨機(jī)事件長(zhǎng)期價(jià)值的衡量
數(shù)學(xué)期望是對(duì)隨機(jī)事件長(zhǎng)期價(jià)值的數(shù)字化衡量,是判斷一件事情值不值得做的整體定量化指標(biāo)
計(jì)算數(shù)學(xué)期望要把所有的隨機(jī)結(jié)果數(shù)值化,只有賦予每個(gè)結(jié)果一個(gè)具體的值,才能進(jìn)行數(shù)學(xué)期望的計(jì)算
對(duì)于同一個(gè)結(jié)果,個(gè)體的數(shù)學(xué)期望也可能是不一樣的,具體計(jì)算結(jié)果需要加入自己對(duì)價(jià)值的主觀考量(比如人的生命)
10.方差:圍繞數(shù)學(xué)期望波動(dòng)程度的度量
判斷兩個(gè)隨機(jī)事件是否相似,除了比較數(shù)學(xué)期望之外,還需要比較方差,兩者共同構(gòu)成了對(duì)隨機(jī)事件最基本的描述
方差是描述隨機(jī)結(jié)果圍繞期望波動(dòng)范圍的指標(biāo),方差越大,波動(dòng)越大,也意味著風(fēng)險(xiǎn)越大
現(xiàn)實(shí)生活中,我們可以通過(guò)減少方差對(duì)抗波動(dòng)性【增大本金增大數(shù)據(jù)量】,也可以通過(guò)增大方差利用波動(dòng)性【彩票頭獎(jiǎng)的巨額獎(jiǎng)金吸引】
收集“上帝”的骰子
11.概率分布:認(rèn)識(shí)現(xiàn)實(shí)世界的數(shù)學(xué)模型
隨機(jī)變量所有的結(jié)果和每個(gè)結(jié)果出現(xiàn)的概率一一對(duì)應(yīng),就構(gòu)成了概率分布,概率分布讓我們擁有上帝之眼,獲得對(duì)一個(gè)隨機(jī)事件的整體認(rèn)知
概率分布模型是我們對(duì)現(xiàn)實(shí)規(guī)律的抽象,正態(tài)分布,冪律分布都是這樣的模型,分別代表一種概率分布的規(guī)律
如果概率分布是一個(gè)解決問(wèn)題的工具箱,概率分布模型就是工具箱里的一個(gè)個(gè)工具,數(shù)學(xué)家不斷豐富工具箱的工具幫助我們逼近真理
【就像《模型思維》里的思想】
12.正態(tài)分布:最簡(jiǎn)單卻最重要的概率分布
均值就是期望,所以正態(tài)分布的平均值才有意義
數(shù)據(jù)集中在均值附近,極端值很少,且對(duì)均值影響很小
標(biāo)準(zhǔn)差決定胖瘦,從曲線(xiàn)的彎曲程度能看出隨機(jī)變量的波動(dòng)
【就像運(yùn)動(dòng)比賽的正態(tài)分布,專(zhuān)業(yè)選手的標(biāo)準(zhǔn)差很小,均值很大;業(yè)務(wù)選手標(biāo)準(zhǔn)差很大,均值小一點(diǎn)】
13.中心極限定理:正態(tài)分布是概率分布的神
合法性:中心極限定理通過(guò)嚴(yán)格的數(shù)學(xué)推導(dǎo),證明了正態(tài)分布的正確性【中心極限定理就像青藏高原,正態(tài)分布就是喜馬拉雅山】
正統(tǒng)性:在所有的分布中,正態(tài)分布是統(tǒng)計(jì)學(xué)家的首選,它建立了一套穩(wěn)定的秩序,像參照系一樣對(duì)所有事情施加影響
主宰性:正態(tài)分布不僅在現(xiàn)實(shí)世界普遍存在,所有的分布不斷疊加最后也都會(huì)變成正態(tài)分布,換句話(huà)說(shuō),正態(tài)分布是世界的宿命【所有的分布,不是正態(tài)分布,就是在變成正態(tài)分布的路上】
14.冪律分布:給人帶來(lái)希望的魔鬼
冪律分布唯一的數(shù)學(xué)性質(zhì)就是三個(gè)字——無(wú)標(biāo)度。任何尺度下截取任何一部分?jǐn)?shù)據(jù),都仍然呈現(xiàn)冪律分布的特征【就像風(fēng)險(xiǎn)投資一樣,前10%幾筆投資的收益占據(jù)90%,而前10%的前10%,又占據(jù)90%】
之所以說(shuō)冪律分布是魔鬼,是因?yàn)樗腥齻€(gè)特征:極不穩(wěn)定,平均值失去意義【如平均工資】;長(zhǎng)尾明顯,各種極端事件經(jīng)常發(fā)生【黑天鵝】;無(wú)法預(yù)測(cè),讓人完全束手無(wú)策
冪律分布是熵減的必經(jīng)狀態(tài),是我們對(duì)抗熵增,對(duì)抗死寂,對(duì)抗死亡的希望之光。【比如在水變成冰,也就是從無(wú)序到有序的臨界狀態(tài)上,所有指標(biāo)都呈現(xiàn)出冪律分布的現(xiàn)象】
15.泊松分布:打開(kāi)統(tǒng)計(jì)推斷的大門(mén)
泊松分布是用來(lái)描述隨機(jī)事件發(fā)生次數(shù)和概率的一種分布【如50年一遇大雨】
泊松分布的參數(shù)λ是單位時(shí)間(或單位面積)內(nèi)隨機(jī)事件的平均發(fā)生次數(shù)。泊松分布適合于描述單位時(shí)間內(nèi)隨機(jī)事件發(fā)生的次數(shù):
e:自然常數(shù),已知
k:隨機(jī)事件的發(fā)生次數(shù)【如1次大暴雨,2次大暴雨】
λ:具體問(wèn)題的整體概率【如50年一遇大雨,就是1/50=0.2】
具有兩個(gè)重要的特征:
基礎(chǔ)是正態(tài)分布【不斷計(jì)算50年一遇大雨和大暴雨不同發(fā)生次數(shù),曲線(xiàn)越來(lái)越接近正態(tài)分布】
隨機(jī)事件的間隔是無(wú)記憶的【前面事件發(fā)生對(duì)后面事件的結(jié)果沒(méi)影響】
泊松分布和正態(tài)分布互相驗(yàn)證的關(guān)系,不僅能幫助我們?cè)跀?shù)據(jù)有限的時(shí)間進(jìn)行精確計(jì)算,更打開(kāi)了推斷統(tǒng)計(jì)的大門(mén),推動(dòng)了統(tǒng)計(jì)學(xué)的發(fā)展。泊松分布之前,概率和統(tǒng)計(jì)是兩個(gè)不同的學(xué)科,概率研究未發(fā)生的隨機(jī)事件,統(tǒng)計(jì)描述已發(fā)生的現(xiàn)實(shí)。【對(duì)于它的其他應(yīng)用還是不是很理解?。俊?/span>
16.假設(shè)檢驗(yàn)(上):基于概率反證法的統(tǒng)計(jì)推斷
假設(shè)檢驗(yàn)是一種基于概率的反證法。如果能證明一個(gè)假說(shuō)發(fā)生的概率特別小,那就推翻這個(gè)假說(shuō),接受和它相反的那個(gè)假說(shuō)。這就是假設(shè)檢驗(yàn)的基本邏輯
概率分布是假設(shè)檢驗(yàn)的基礎(chǔ),是進(jìn)行假設(shè)檢驗(yàn)時(shí)必須要用到的工具。關(guān)于顯著性,一般學(xué)界是有標(biāo)準(zhǔn)的,用得最多的就是 5%。只要 P 值小于 5%,就推翻 H0(零假設(shè)),相信 H1(備擇假設(shè));如果P 值大于 5%,就沒(méi)辦法推翻 H0。當(dāng)然,也有一些領(lǐng)域覺(jué)得 5%這個(gè)標(biāo)準(zhǔn)太寬泛了,就設(shè)置成了 1%。甚至像物理學(xué)在發(fā)現(xiàn)粒子等問(wèn)題上,執(zhí)行的這個(gè)標(biāo)準(zhǔn)是百萬(wàn)分之一,要嚴(yán)格得多??傊?,顯著性水平要依領(lǐng)域而定,每個(gè)領(lǐng)域都有自己的共同體標(biāo)
假設(shè)檢驗(yàn)讓我們能依靠有限的數(shù)據(jù)發(fā)現(xiàn)很多靠譜的結(jié)論,所以一誕生就席卷各個(gè)領(lǐng)域,成為很多學(xué)科研究的底層方法之一
17.假設(shè)檢驗(yàn)(下):
假設(shè)檢驗(yàn)要從個(gè)別推導(dǎo)全部,就一定會(huì)忽視極端的小概率情況,這是他從娘胎里就帶的基因,沒(méi)法改變【如連續(xù)中彩票】
由于P值的大小直接由樣品決定,所以假設(shè)檢驗(yàn)很容易產(chǎn)生系統(tǒng)性偏差,讓人們?cè)敢庀嘈乓恍╁e(cuò)誤的結(jié)論【如發(fā)郵件預(yù)言股票漲停騙局,不同人收到的郵件的預(yù)言準(zhǔn)確性不一樣】
使用假設(shè)檢驗(yàn)時(shí),還要注意顯著性水平的設(shè)置要和問(wèn)題聯(lián)動(dòng)(不同領(lǐng)域的顯著性水平標(biāo)準(zhǔn)不同,在該嚴(yán)格的領(lǐng)域就要提高標(biāo)準(zhǔn)),以及根據(jù)問(wèn)題選擇正確的分布(正態(tài)分布或冪律分布)
猜測(cè)“上帝”的底牌
18.條件概率:貝葉斯公式的基礎(chǔ)
如果一個(gè)隨機(jī)事件的概率會(huì)因?yàn)槟硞€(gè)條件的發(fā)生而改變,那么在這個(gè)條件發(fā)生的情況下,隨機(jī)事件發(fā)生的概率就是條件概率
很多條件概率是很隱蔽的?,F(xiàn)實(shí)中,所有的概率本質(zhì)上都是條件概率
條件概率量化了條件對(duì)隨時(shí)事件的影響,但它只表示統(tǒng)計(jì)意義上的相關(guān)性,并不代表因果關(guān)系。
P(A│B) = P(AB)/P(B)
19.貝葉斯推理:概率是對(duì)信心的度量
貝葉斯推理:根據(jù)新信息不斷調(diào)整對(duì)一個(gè)隨機(jī)事件發(fā)生概率的判斷【就像偵探破案的過(guò)程】
貝葉斯推理拓寬了概率這個(gè)概念的邊界,在貝葉斯推理中概率是對(duì)信心的度量,是我們對(duì)某個(gè)結(jié)果相信程度的定量化表達(dá)【正如一場(chǎng)球賽,隨著比賽的進(jìn)行,勝負(fù)結(jié)果慢慢明朗起來(lái)】
貝葉斯推理有兩大優(yōu)勢(shì):1)起點(diǎn)不重要,迭代很重要,最后一定無(wú)窮逼近真理;2)信息越充分,結(jié)果越可靠
20.貝葉斯計(jì)算:定量解決逆概率問(wèn)題
逆概率問(wèn)題,比如酒駕,知道出事故中酒駕的占比,要求你如果酒駕會(huì)出事故的概率。
P(A│B) =P(B│A)×P(A)/P(B)
貝葉斯公式:現(xiàn)象B出現(xiàn)的情況下事件A發(fā)生的概率,等于事件A發(fā)生時(shí)現(xiàn)象B出現(xiàn)的概率,乘以事件A發(fā)生的概率,再除以現(xiàn)象B出現(xiàn)的概率(是條件概率的變型)——
P(A)是先驗(yàn)概率,可以任意設(shè)置,如交通事故的概率
P(B│A)和P(B)是調(diào)整因子,是客觀的,必須查詢(xún)真實(shí)的數(shù)據(jù),如果找不到數(shù)據(jù),就不能使用貝葉斯公式,否則很容易越算越錯(cuò)
貝葉斯計(jì)算難度不在計(jì)算本身,而是尋找調(diào)整因子的客觀數(shù)據(jù)
21.主觀與客觀:不同的概率學(xué)派在爭(zhēng)什么
貝葉斯公式中的先驗(yàn)概率可以隨意設(shè)置,看起來(lái)比較主觀,不像頻率法那么客觀,其實(shí)兩者都完全正確完全有效。
只不過(guò)是對(duì)信息是否全知的預(yù)設(shè)不同,他們解決的不是同一類(lèi)問(wèn)題。頻率法必須有明確的嚴(yán)格的前提約束,假設(shè)信息都是全知的,貝葉斯是動(dòng)態(tài)反復(fù)的過(guò)程,每出現(xiàn)一個(gè)新信息都要重新進(jìn)行計(jì)算,獲得一個(gè)新的概率。兩種方法本身都是客觀的,只不過(guò)是使用過(guò)程中都活或多或少產(chǎn)生主觀性
應(yīng)用數(shù)學(xué)現(xiàn)在不太討論兩者的主客觀問(wèn)題,而是哪個(gè)好用用哪個(gè),利用兩個(gè)方法更好地解決現(xiàn)實(shí)問(wèn)題
22.原則:怎么提高自己的概率思維
三個(gè)黃金法則:
對(duì)抗直覺(jué),能算就算:人腦天生是一個(gè)貝葉斯大腦,直覺(jué)就是我們最快捷的概率計(jì)算器,我們要做的是遏制直覺(jué)的沖動(dòng),去尋找數(shù)據(jù),證據(jù),用概率公式計(jì)算
尋求條件,增大概率:如創(chuàng)業(yè)的成功率雖然低,但如果你擁有關(guān)鍵技術(shù)等條件,就能增大成功的概率
相信系統(tǒng),長(zhǎng)期主義:所謂的堅(jiān)持和努力,就是尋找一個(gè)大概率的方向,然后相信系統(tǒng)相信長(zhǎng)期主義,得到長(zhǎng)期的到來(lái)
參考閱讀:
聯(lián)系客服