免费下载美女视频,性感美女动漫视频,美女视频在线观看免费大全

前言

馬爾可夫鏈（Markov Chain）可以說(shuō)是機(jī)器學(xué)習(xí)和人工智能的基石，在強(qiáng)化學(xué)習(xí)、自然語(yǔ)言處理、金融領(lǐng)域、天氣預(yù)測(cè)、語(yǔ)音識(shí)別方面都有著極其廣泛的應(yīng)用

這句人生哲理的話也代表了馬爾科夫鏈的思想：過(guò)去所有的信息都已經(jīng)被保存到了現(xiàn)在的狀態(tài)，基于現(xiàn)在就可以預(yù)測(cè)未來(lái)。

雖然這么說(shuō)可能有些極端，但是卻可以大大簡(jiǎn)化模型的復(fù)雜度，因此馬爾可夫鏈在很多時(shí)間序列模型中得到廣泛的應(yīng)用，比如循環(huán)神經(jīng)網(wǎng)絡(luò) RNN，隱式馬爾可夫模型 HMM 等，當(dāng)然 MCMC 也需要它。

隨機(jī)過(guò)程

馬爾可夫鏈?zhǔn)请S機(jī)過(guò)程這門課程中的一部分，先來(lái)簡(jiǎn)單了解一下。

簡(jiǎn)單來(lái)說(shuō)，隨機(jī)過(guò)程就是使用統(tǒng)計(jì)模型一些事物的過(guò)程進(jìn)行預(yù)測(cè)和處理，比如股價(jià)預(yù)測(cè)通過(guò)今天股票的漲跌，卻預(yù)測(cè)明天后天股票的漲跌；天氣預(yù)報(bào)通過(guò)今天是否下雨，預(yù)測(cè)明天后天是否下雨。這些過(guò)程都是可以通過(guò)數(shù)學(xué)公式進(jìn)行量化計(jì)算的。通過(guò)下雨、股票漲跌的概率，用公式就可以推導(dǎo)出來(lái) N 天后的狀況。

俄國(guó)數(shù)學(xué)家 Andrey Andreyevich Markov 研究并提出一個(gè)用數(shù)學(xué)方法就能解釋自然變化的一般規(guī)律模型，被命名為馬爾科夫鏈（Markov Chain）。馬爾科夫鏈為狀態(tài)空間中經(jīng)過(guò)從一個(gè)狀態(tài)到另一個(gè)狀態(tài)的轉(zhuǎn)換的隨機(jī)過(guò)程，該過(guò)程要求具備“無(wú)記憶性 ”，即下一狀態(tài)的概率分布只能由當(dāng)前狀態(tài)決定，在時(shí)間序列中它前面的事件均與之無(wú)關(guān)。這種特定類型的“無(wú)記憶性 ”稱作馬爾可夫性質(zhì)。

馬爾科夫鏈認(rèn)為過(guò)去所有的信息都被保存在了現(xiàn)在的狀態(tài)下了。比如這樣一串?dāng)?shù)列 1 - 2 - 3 - 4 - 5 - 6，在馬爾科夫鏈看來(lái)，6 的狀態(tài)只與 5 有關(guān)，與前面的其它過(guò)程無(wú)關(guān)。

數(shù)學(xué)定義

則假設(shè)我們的序列狀態(tài)是

那么在

時(shí)刻的狀態(tài)的條件概率僅依賴于前一刻的狀態(tài)

即：

既然某一時(shí)刻狀態(tài)轉(zhuǎn)移的概率只依賴于它的前一個(gè)狀態(tài) ，那么我們只要能求出系統(tǒng)中任意兩個(gè)狀態(tài)之間的轉(zhuǎn)換概率，這個(gè)馬爾科夫鏈的模型就定了。

轉(zhuǎn)移概率矩陣

通過(guò)馬爾科夫鏈的模型轉(zhuǎn)換，我們可以將事件的狀態(tài)轉(zhuǎn)換成概率矩陣（又稱狀態(tài)分布矩陣），如下例：

上圖中有 A 和 B 兩個(gè)狀態(tài)，A 到 A 的概率是 0.3，A 到 B 的概率是 0.7；B 到 B 的概率是 0.1，B 到 A 的概率是 0.9。

初始狀態(tài)在 A，如果我們求 2 次運(yùn)動(dòng)后狀態(tài)還在 A 的概率是多少？非常簡(jiǎn)單：

如果求 2 次運(yùn)動(dòng)后的狀態(tài)概率分別是多少？初始狀態(tài)和終止?fàn)顟B(tài)未知時(shí)怎么辦呢？這是就要引入轉(zhuǎn)移概率矩陣，可以非常直觀的描述所有的概率。

有了狀態(tài)矩陣，我們可以輕松得出以下結(jié)論：

初始狀態(tài) A，2 次運(yùn)動(dòng)后狀態(tài)為 A 的概率是 0.72；

初始狀態(tài) A，2 次運(yùn)動(dòng)后狀態(tài)為 B 的概率是 0.28；

初始狀態(tài) B，2 次運(yùn)動(dòng)后狀態(tài)為 A 的概率是 0.36；

初始狀態(tài) B，2 次運(yùn)動(dòng)后狀態(tài)為 B 的概率是 0.64；

有了概率矩陣，即便求運(yùn)動(dòng) n 次后的各種概率，也能非常方便求出。即將n個(gè)概率舉證相乘。

來(lái)看一個(gè)多個(gè)狀態(tài)更復(fù)雜的情況：

狀態(tài)轉(zhuǎn)移矩陣的穩(wěn)定性
狀態(tài)轉(zhuǎn)移矩陣有一個(gè)非常重要的特性，經(jīng)過(guò)一定有限次數(shù)序列的轉(zhuǎn)換，最終一定可以得到一個(gè)穩(wěn)定的概率分布，且與初始狀態(tài)概率分布無(wú)關(guān)。例如：
假設(shè)我們當(dāng)前股市的概率分布為：[0.3，0.4,0.3] ，即 30% 概率的牛市，40% 概率的熊盤與 30% 的橫盤。然后這個(gè)狀態(tài)作為序列概率分布的初始狀態(tài)t0 ，將其帶入這個(gè)狀態(tài)轉(zhuǎn)移矩陣計(jì)算 t1,t2,t3,... 的狀態(tài)。代碼如下：

可以發(fā)現(xiàn)，從第 60 輪開(kāi)始，我們的狀態(tài)概率分布就不變了，一直保持[0.625,0.3125,0.0625] ，即 62.5% 的牛市，31.25% 的熊市與 6.25% 的橫盤。

上面這個(gè)不變的矩陣叫做馬爾可夫鏈的平穩(wěn)分布。

馬爾可夫鏈?zhǔn)且环N具有無(wú)記憶性質(zhì)的隨機(jī)過(guò)程，狀態(tài)轉(zhuǎn)移矩陣描述了馬爾可夫鏈在不同狀態(tài)之間的轉(zhuǎn)移概率。當(dāng)馬爾可夫鏈滿足一定的條件時(shí)，可以確保最終會(huì)收斂到一個(gè)穩(wěn)定的狀態(tài)分布。

但是并不是每一個(gè)轉(zhuǎn)移概率矩陣都是有平穩(wěn)分布的。

轉(zhuǎn)移概率矩陣有平穩(wěn)分布的條件

首先，馬爾可夫鏈需要滿足“遍歷性”（irreducibility）的條件，即從任意一個(gè)狀態(tài)出發(fā)，經(jīng)過(guò)有限的步驟可以到達(dá)任意其他狀態(tài)。這保證了鏈中的狀態(tài)之間有相互的可達(dá)性。

其次，馬爾可夫鏈還需要滿足“非周期性”（aperiodicity）的條件，這意味著在有限步長(zhǎng)內(nèi)可以以不同的步長(zhǎng)訪問(wèn)同一個(gè)狀態(tài)。這樣的條件使得馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖沒(méi)有周期性的閉環(huán)，確保了狀態(tài)轉(zhuǎn)移的靈活性。

對(duì)于上述解釋可以觀看鏈接：

超簡(jiǎn)單解釋什么是馬爾可夫鏈
https://www.bilibili.com/video/BV1xa4y1w7aT/?spm_id_from=333.788&vd_source=20b68a3482603f4283bf4aad9c4d45ad

當(dāng)馬爾可夫鏈滿足遍歷性和非周期性的條件時(shí)，我們可以證明存在一個(gè)穩(wěn)定的狀態(tài)分布。這個(gè)分布被稱為“平穩(wěn)分布”（stationary distribution）或“極限分布”（limiting distribution）。該分布滿足以下性質(zhì)：無(wú)論從哪個(gè)狀態(tài)出發(fā)，隨著狀態(tài)轉(zhuǎn)移的進(jìn)行，最終都會(huì)收斂到平穩(wěn)分布，且與初始狀態(tài)概率分布無(wú)關(guān)。

這可以通過(guò)數(shù)學(xué)推導(dǎo)得到。具體地，如果一個(gè)馬爾可夫鏈滿足遍歷性和非周期性的條件，并且其狀態(tài)轉(zhuǎn)移矩陣是“正則”的（regular），那么存在一個(gè)唯一的平穩(wěn)分布。正則的意思是從每個(gè)狀態(tài)出發(fā)經(jīng)過(guò)有限步驟可以返回該狀態(tài)。平穩(wěn)分布可以通過(guò)求解線性方程組的方法得到。

一旦達(dá)到平穩(wěn)分布，無(wú)論初始狀態(tài)概率分布如何，經(jīng)過(guò)一定次數(shù)的狀態(tài)轉(zhuǎn)移后，馬爾可夫鏈的狀態(tài)分布將保持在平穩(wěn)分布。這是由于狀態(tài)轉(zhuǎn)移矩陣的性質(zhì)保證了概率在狀態(tài)之間的穩(wěn)定流動(dòng)。

在上述過(guò)程中我們只是用了計(jì)算機(jī)來(lái)證明對(duì)于一個(gè)可遍歷，非周期的概率矩陣是存在平穩(wěn)分布的。

那么如何使用數(shù)學(xué)公式來(lái)證明呢？

定理：假設(shè)馬爾可夫鏈的狀態(tài)空間為{S1, S2, ..., Sn}，且狀態(tài)轉(zhuǎn)移矩陣為A。如果存在一個(gè)非負(fù)概率向量π，使得πA = π，則π是馬爾可夫鏈的平穩(wěn)分布。

證明：我們首先定義矢量p(t)，表示馬爾可夫鏈在時(shí)刻t的狀態(tài)分布。那么根據(jù)定義，p(t)可以通過(guò)初始狀態(tài)分布向量p(0)與狀態(tài)轉(zhuǎn)移矩陣A的連續(xù)乘積求得，即p(t) = p(0)A^t。

根據(jù)定理的條件，存在一個(gè)非負(fù)概率向量π，使得πA = π。注意，π是一個(gè)行向量。我們可以將p(t)表示為π乘以A^t，即p(t) = πA^t。

現(xiàn)在我們來(lái)證明當(dāng)t趨于無(wú)窮大時(shí)，p(t)趨于一個(gè)穩(wěn)定的分布。設(shè)p∞為這個(gè)極限分布，即當(dāng)t趨于無(wú)窮大時(shí)，p(t)趨于p∞，即p∞ = lim(t→∞) p(t)。

我們有：p∞ = lim(t→∞) p(t)= lim(t→∞) (πA^t)= πl(wèi)im(t→∞) (A^t)

我們知道，當(dāng)t趨于無(wú)窮大時(shí)，A^t的收斂性質(zhì)保證了(A^t)的極限存在。設(shè)極限矩陣為P，即lim(t→∞) (A^t) = P。因此，我們可以得到：p∞ = πP

由于π是一個(gè)非負(fù)概率向量，P是一個(gè)狀態(tài)轉(zhuǎn)移矩陣的極限，因此p∞也滿足以下性質(zhì)：

所有元素非負(fù)：p∞i ≥ 0，其中i = 1, 2, ..., n。

元素和為1：Σ(i=1 to n) p∞i = 1。

因此，我們可以得出結(jié)論：如果存在一個(gè)非負(fù)概率向量π，使得πA = π，則π是馬爾可夫鏈的平穩(wěn)分布，即p∞ = π。

這就證明了馬爾可夫鏈存在平穩(wěn)分布的定理

使用數(shù)學(xué)的方式計(jì)算平穩(wěn)分布呢？

我們總結(jié)一下我們所擁有的條件

πA = π
所有狀態(tài)的概率非負(fù)：π(i)>=0, 對(duì)于所有的i∈S。
所有狀態(tài)的概率之和為1：Σπ(i) = 1，對(duì)于所有的i∈S。

即解出下面的方程組：

計(jì)算該方程組的數(shù)學(xué)方法可以使用線性代數(shù)中的特征值和特征向量的性質(zhì)。

可以使用以下步驟計(jì)算平穩(wěn)分布：

將狀態(tài)轉(zhuǎn)移矩陣P進(jìn)行特征值分解，得到特征向量矩陣V和特征值矩陣D。

在特征值矩陣D中，找到特征值為1的列向量。假設(shè)該列向量對(duì)應(yīng)的特征向量為v。

歸一化特征向量v，使其元素之和為1，即v = v / Σv(i)，其中v(i)表示v的第i個(gè)元素。

得到平穩(wěn)分布π，即π = v。

請(qǐng)注意，這種方法只適用于馬爾可夫鏈存在唯一的平穩(wěn)分布的情況，并且狀態(tài)轉(zhuǎn)移矩陣P是可對(duì)角化的。如果馬爾可夫鏈存在多個(gè)平穩(wěn)分布或狀態(tài)轉(zhuǎn)移矩陣不可對(duì)角化，使用其他方法（如馬爾可夫鏈的冪法）來(lái)計(jì)算平穩(wěn)分布。

引用：

簡(jiǎn)述馬爾可夫鏈
https://zhuanlan.zhihu.com/p/448575579

超簡(jiǎn)單解釋什么是馬爾可夫鏈！
https://www.bilibili.com/video/BV1xa4y1w7aT/?spm_id_from=333.788&vd_source=20b68a3482603f4283bf4aad9c4d45ad

編輯 /Garvey

審核 / 王漫楨

復(fù)核 / 孫天明

點(diǎn)擊下方

關(guān)注我們

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊舉報(bào)。

中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频