這句話導(dǎo)致了丹尼斯林德利對(duì)克倫威爾規(guī)則的定義，這提出了如果一個(gè)先驗(yàn)概率等于零（我知道某些事情不是真的）或一個(gè)（我知道某事是真的）的想法，然后，盡管向你展示了什么證據(jù)，你的信念也不會(huì)被動(dòng)搖。
在本文中，我們通過形象舉例深刻剖析頻率統(tǒng)計(jì)與貝葉斯統(tǒng)計(jì)之間的區(qū)別，深入探討貝葉斯統(tǒng)計(jì)的神秘世界，以及它的一些原則，如克倫威爾規(guī)則、伯恩斯坦 - 馮米塞斯定理、伯努利審判，有助于分析現(xiàn)實(shí)世界的機(jī)器學(xué)習(xí)問題。
拿例子說話。
我把手機(jī)放在了家里的某個(gè)地方。我可以使用儀器底座上的電話定位器來定位電話，當(dāng)我按下電話定位器時(shí)，電話會(huì)開始發(fā)出嗶嗶聲。
問題：我應(yīng)該搜索我家的哪個(gè)區(qū)域？
頻繁推理
我能聽到手機(jī)發(fā)出的嗶嗶聲。我還有一個(gè)心理猜測(cè)模型，即根據(jù)聲音來確定區(qū)域。因此，在聽到嗶嗶聲后，我推斷出我家的區(qū)域，我必須遍歷搜索來找到手機(jī)。
貝葉斯推理
我能聽到手機(jī)發(fā)出的嗶嗶聲?，F(xiàn)在，除了幫助我識(shí)別聲音來自哪個(gè)區(qū)域的心理模型之外，我還知道過去經(jīng)常放錯(cuò)電話的位置。因此，我結(jié)合我的推論使用了嗶嗶聲和我之前關(guān)于我過去放錯(cuò)電話的位置的先驗(yàn)信息，以確定我必須搜索以找到手機(jī)的區(qū)域。
從這個(gè)例子，可以看出兩者的區(qū)別，貝葉斯推理比頻繁推理應(yīng)用了更多的經(jīng)驗(yàn)，縮小了范圍、避免盲目。
假設(shè)在醫(yī)院，患者健康（H）或生?。⊿），我們將對(duì)患者進(jìn)行測(cè)試，結(jié)果將為陽性（+）或陰性（- ）。如果患者生病，他們將始終獲得陽性結(jié)果。我們稱之為正確的（Correct）結(jié)果。
P（+ | S）= 1
也就是說：
P（Correct | S）= 1
如果患者健康，95％的時(shí)間測(cè)試將是陰性，但會(huì)有一些誤報(bào)。
P（- | H）= 0.95
P（+ | H）= 0.05
對(duì)于健康人來說，測(cè)試正確的概率是95％。
因此，該測(cè)試要么100％準(zhǔn)確，要么準(zhǔn)確率為95％，具體取決于患者是健康還是生病?？傊@意味著測(cè)試至少95％準(zhǔn)確。
到現(xiàn)在為止這些還是頻率論者的陳述。這些陳述很容易理解。
但是，當(dāng)你試圖換一種方式，讓事情變得有趣。鑒于測(cè)試結(jié)果，你可以了解患者的健康狀況。如果測(cè)試結(jié)果為陰性，患者顯然是健康的，因?yàn)闆]有假陰性。
但我們也必須考慮測(cè)試是陽性的情況。是因?yàn)榛颊邔?shí)際上病了，還是假陽性？這是頻率論者和貝葉斯派的分歧。每個(gè)頻率論支持者都會(huì)同意目前無法回答這個(gè)問題。他們會(huì)拒絕回答。貝葉斯將準(zhǔn)備給你一個(gè)答案，貝葉斯先生告訴它患病的比例是多少。
總結(jié)一下，以下陳述是正確的：
如果您對(duì)此類陳述感到滿意，那么你事實(shí)上在使用頻率統(tǒng)計(jì)的解釋。
但如果讓你做出不同的陳述并回答以下問題：
這需要先驗(yàn)和貝葉斯定理。另注意，這是醫(yī)生唯一感興趣的問題。醫(yī)生會(huì)說“我知道患者會(huì)得到陽性結(jié)果或陰性結(jié)果。陰性結(jié)果意味著患者健康并且可以送回家?，F(xiàn)在我感興趣的是獲得陽性結(jié)果的人- 他們生病嗎？”
總之，在這樣的例子中，貝葉斯將同意頻率論者所說的一切。但貝葉斯認(rèn)為，頻率論者的陳述雖然是真實(shí)的，但并不是很有用。
頻率論者將依次考慮參數(shù)（H或S）的每個(gè)可能值，并詢問“參數(shù)是否等于該值，我的測(cè)試正確的概率是多少？”
相反，貝葉斯將反過來考慮每個(gè)可能的觀測(cè)值（+或- ）并詢問“如果我剛剛觀察到這個(gè)值，那么它告訴我健康（H）和生?。⊿）的條件概率是什么？”
從這個(gè)例子，可以看出兩者的區(qū)別，貝葉斯統(tǒng)計(jì)（推理）能夠獲得逆概率的信息，這個(gè)是貝葉斯定理公式中一目了然的。為什么這個(gè)很重要呢？觀察值（測(cè)量者）往往不一定是準(zhǔn)確的，而真正的實(shí)際情況的條件概率才是我們關(guān)心的，才是最重要的。
“不管發(fā)生了什么，太陽第二天仍然會(huì)照常升起”，你對(duì)這個(gè)真理的堅(jiān)信來源于你從來沒碰見過一天，太陽沒有升起。但是...
想象一下，有一天早上你醒來，太陽決定休息一天。這不僅會(huì)（最有可能）破壞你的一天并搞砸你的生物鐘，這也會(huì)直接改變你對(duì)太陽升落的感覺。你不再堅(jiān)信太陽永遠(yuǎn)會(huì)第二天升起來的真理了！更有可能預(yù)測(cè)到第二天太陽也不會(huì)升起?；蛘哒f，你對(duì)太陽將再次休息一天的期望將會(huì)比以前高很多。
貝葉斯統(tǒng)計(jì)的作用過程就是：我們根據(jù)新證據(jù)改變了對(duì)事件發(fā)生概率的先有的、固有的看法。這是所有貝葉斯統(tǒng)計(jì)數(shù)據(jù)的關(guān)鍵。
更數(shù)學(xué)的描述一下，貝葉斯規(guī)則：
貝葉斯的規(guī)則告訴我們，我們必須從一些關(guān)于事件發(fā)生可能性的固有概率開始（事前）。我們稱之為先驗(yàn)概率。逐漸地，隨著我們獲得新的觀察和證據(jù)，我們查看證據(jù)，決定我們當(dāng)前立場(chǎng)的可能性基礎(chǔ)上更新我們的信念。這種更新的信念稱為后驗(yàn)概率（事后）。
回到我們的日出問題，我們每天都觀察到太陽升起，每當(dāng)它發(fā)生時(shí)我們都會(huì)更確定它會(huì)在第二天再次升起。但是，如果有一天我們發(fā)現(xiàn)太陽沒有上升，這將根據(jù)新的證據(jù)對(duì)我們的后驗(yàn)概率產(chǎn)生巨大影響。
這在數(shù)學(xué)上以下面的形式表達(dá)，起初看起來令人生畏但可以被抽象：我們更新的信念是基于我們最初的信念和基于我們當(dāng)前信念（可能性）呈現(xiàn)的新證據(jù)。有多少新的證據(jù)，我們的信念有有多少可能是正確的。如果最初信念是太陽明天不上升的概率是百萬分之一，如果某一天（僅僅是如果）太陽沒有照常升起，那么我的信念錯(cuò)誤的可能性非常高，后驗(yàn)概率會(huì)更新以預(yù)測(cè)它是更有可能再次發(fā)生。
奧利弗·克倫威爾（Oliver Cromwell）是英國(guó)歷史上的杰出人物，1658年在蘇格蘭教會(huì)大會(huì)上引用了一句名言：
'“我懇求你們，以基督的同情心想一想，你們可能錯(cuò)了?！?/p>
這句話導(dǎo)致了丹尼斯林德利對(duì)克倫威爾規(guī)則的定義，這提出了如果一個(gè)先驗(yàn)概率等于零（我知道某些事情不是真的）或一個(gè)（我知道某事是真的）的想法，然后，盡管向你展示了什么證據(jù)，你的信念也不會(huì)被動(dòng)搖。
這向我們展示了在觀察可以經(jīng)驗(yàn)觀察的事物時(shí)絕對(duì)主義觀點(diǎn)的危險(xiǎn)性。如果我堅(jiān)信一種信念，我確信我是對(duì)的，沒有人會(huì)說或做任何事情都不會(huì)說服我。這是無知的高度，而不是我們想要融入機(jī)器學(xué)習(xí)模型的東西。如果我們回顧貝葉斯定理，我們可以看出為什么會(huì)出現(xiàn)這種情況，如果我們的先驗(yàn)概率為零，那么將它乘以任何東西仍然會(huì)給我們一個(gè)后驗(yàn)概率為零。
原則上，沒有可能將某種概率設(shè)置為零，因?yàn)槲锢硎澜缰械娜魏螙|西都不應(yīng)該被認(rèn)為是完全不可能的 - 即使與所有觀察的和當(dāng)前的理論相反。
可能發(fā)生這種情況的一個(gè)理想例子是神經(jīng)網(wǎng)絡(luò)。當(dāng)你啟動(dòng)神經(jīng)網(wǎng)絡(luò)時(shí)，節(jié)點(diǎn)會(huì)以某些固有值開始。如果將這些節(jié)點(diǎn)全部分配為權(quán)重為零，則節(jié)點(diǎn)將無法自行更新，因?yàn)樘荻认陆邓惴ǖ乃械紝⒊艘粤?。而是進(jìn)行隨機(jī)初始化（通常對(duì)用戶不可見），這通?？梢苑乐怪T如此類的問題。
貝葉斯定理的另一個(gè)有趣的特性來自于我們觀察在無數(shù)次觀察之后發(fā)生的事情，通常稱為伯恩斯坦 - 馮米塞斯定理。
簡(jiǎn)單來說，伯恩斯坦 - 馮米塞斯Bernstein-von Mises定理告訴我們，當(dāng)我們獲得更多數(shù)據(jù)時(shí)，我們的后驗(yàn)估計(jì)將漸近地獨(dú)立于我們的初始（先驗(yàn)）信念 - 當(dāng)然，它假設(shè)它遵循克倫威爾規(guī)則。這在某些方面類似于頻率統(tǒng)計(jì)中的數(shù)字法則，它告訴我們樣本的平均值最終將與總體相同，因?yàn)槲覀儷@得的數(shù)據(jù)越來越多。
以硬幣翻轉(zhuǎn)為例 - 不公平硬幣（不均勻）出現(xiàn)的可能性是多少？
頻率統(tǒng)計(jì)解釋
翻轉(zhuǎn)不公平硬幣時(shí)看到頭部的概率是在重復(fù)翻轉(zhuǎn)硬幣時(shí)看到頭部的長(zhǎng)期相對(duì)頻率。也就是說，當(dāng)我們進(jìn)行更多的硬幣翻轉(zhuǎn)時(shí)，作為總翻轉(zhuǎn)的比例獲得的頭數(shù)傾向于硬幣作為頭部出現(xiàn)的“真實(shí)”或“物理”概率。特別是運(yùn)行實(shí)驗(yàn)的個(gè)人并沒有結(jié)合他們自己對(duì)其他硬幣公平性的看法。
貝葉斯統(tǒng)計(jì)解釋
在任何翻轉(zhuǎn)硬幣之前，個(gè)人可能認(rèn)為硬幣是公平的。幾次翻轉(zhuǎn)后，硬幣不斷上升。因此，對(duì)硬幣公平性的先前信念進(jìn)行了修改，以解釋三個(gè)頭已經(jīng)連續(xù)出現(xiàn)的事實(shí)，因此硬幣可能不公平。在500次翻轉(zhuǎn)后，有400個(gè)頭，個(gè)人更強(qiáng)烈的認(rèn)為硬幣不太可能公平。后驗(yàn)信念在很大程度上修改先前對(duì)公平硬幣的信念。
在機(jī)器學(xué)習(xí)中，貝葉斯方法和頻率方法之間的根本區(qū)別在于隨機(jī)性存在的位置。在頻率范疇中，數(shù)據(jù)被認(rèn)為是隨機(jī)的，而參數(shù)（例如，均值，方差）是固定的。在貝葉斯范疇中，參數(shù)被認(rèn)為是隨機(jī)的而數(shù)據(jù)是固定的。這是因?yàn)橄啾扔跀?shù)據(jù)，我們更關(guān)心產(chǎn)生這些數(shù)據(jù)的系統(tǒng)（參數(shù)）。
對(duì)于硬幣試驗(yàn)，以機(jī)器學(xué)習(xí)的視角來審視貝葉斯統(tǒng)計(jì)的魅力！
伯努利試驗(yàn)是一項(xiàng)隨機(jī)試驗(yàn)，只有兩種結(jié)果，通常標(biāo)記為“成功”或“失敗”，其中每次試驗(yàn)時(shí)成功的概率都完全相同。成功的概率由θ給出θ，這是0和1之間。
在進(jìn)行一些硬幣翻轉(zhuǎn)實(shí)驗(yàn)（重復(fù)伯努利試驗(yàn)）的過程中，我們將生成一些數(shù)據(jù)D，關(guān)于頭或尾。
一個(gè)自然的例子問題是“給出一個(gè)公平的硬幣（θ=0.5），在8次翻轉(zhuǎn)中看到3個(gè)頭的概率是多少？”。
模型幫助我們確定給定參數(shù)θ的值，此數(shù)據(jù)D的概率。表示為：P（D | θ ）。
但是，如果你考慮一下，我們實(shí)際上對(duì)另一個(gè)問題感興趣，“考慮到我看到了特定的頭尾序列，硬幣是公平的的概率是多少？”
因此，我們對(duì)P（θ | D ）概率分布感興趣，這反映了我們對(duì)θ的不同可能值的信念。鑒于我們已觀察到一些數(shù)據(jù)D，可得P（D | θ ）。那么我們?nèi)绾卧谶@兩個(gè)概率之間得到什么呢？事實(shí)證明，貝葉斯的規(guī)則是允許我們?cè)趦煞N情況之間進(jìn)行的鏈接。
貝葉斯統(tǒng)計(jì)推理的規(guī)則：
P（θ | D ）= P（D | θ ）P（θ ）/P（D ）
先驗(yàn)
。這是我們對(duì)θ的信念的力量，不考慮證據(jù)D
。我們之前關(guān)于硬幣有多公平的可能性的看法。后驗(yàn)
。這是一旦證據(jù)D已被考慮在內(nèi)，我們對(duì)θ的信念的力量θ
。在看到8次翻轉(zhuǎn)中的4個(gè)頭之后，比如說，這是我們關(guān)于硬幣公平性的最新觀點(diǎn)。可能性
。這是由具有參數(shù)θ的模型生成數(shù)據(jù)D的概率
。如果我們知道硬幣是公平的，這就告訴我們?cè)谔囟〝?shù)量的翻轉(zhuǎn)中看到許多頭?的數(shù)據(jù)D的概率。證據(jù)
。這是通過對(duì)所有可能的θ值求和（或積分）確定的數(shù)據(jù)的概率，其中加權(quán)我們對(duì)θ的特定值的相信程度
。如果我們對(duì)硬幣的公平性有多種看法（但不確定），那么這就告訴我們看到一系列翻轉(zhuǎn)的可能性，以便我們相信硬幣的公平性。貝葉斯推斷的整個(gè)目標(biāo)是為我們提供一個(gè)合理的，數(shù)學(xué)上合理的程序，以便將我們先前的信念與手頭的任何證據(jù)結(jié)合起來，以產(chǎn)生更新的后驗(yàn)信念。使其成為如此有價(jià)值的技術(shù)的原因在于后驗(yàn)信念本身可以用作新數(shù)據(jù)生成的先驗(yàn)信念。因此，貝葉斯推理允許我們通過反復(fù)應(yīng)用貝葉斯規(guī)則來不斷調(diào)整我們?cè)谛聰?shù)據(jù)下的信念。
貝葉斯統(tǒng)計(jì)包含可用于機(jī)器學(xué)習(xí)的特定類型的模型。通常，由于各種原因中的一個(gè)或多個(gè)原因，人們會(huì)使用貝葉斯模型，例如：
我們可以清楚地看到，頻率論和貝葉斯方法之間存在很大的協(xié)同作用，特別是在當(dāng)今大數(shù)據(jù)和預(yù)測(cè)分析變得如此突出的世界中。我們?yōu)楦鞣N系統(tǒng)提供大量數(shù)據(jù)，我們可以不斷地對(duì)系統(tǒng)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的推斷，并在越來越多的數(shù)據(jù)可用時(shí)不斷更新。由于貝葉斯統(tǒng)計(jì)提供了更新'知識(shí)'的框架，實(shí)際上它在機(jī)器學(xué)習(xí)中使用了很多。
聯(lián)系客服
