卡爾曼濾波

　背景

　　斯坦利• 施密特(Stanley Schmidt)首次實(shí)

　　現(xiàn)了卡爾曼濾波器?？柭贜ASA埃姆斯研究中心訪問時,發(fā)現(xiàn)他的方法對于解決阿波羅計(jì)劃的軌道預(yù)測很有用,后來阿波羅飛船的導(dǎo)航電腦使用了這種濾波器。關(guān)于這種濾波器的論文由Swerling (1958), Kalman (1960)與 Kalman and Bucy (1961)發(fā)表。

　　定義

　　傳統(tǒng)的濾波方法，只能是在有用信號與噪聲具有不同頻帶的條件下才能實(shí)現(xiàn)．20世紀(jì)40年代，N．維納和A．H．柯爾莫哥羅夫把信號和噪聲的統(tǒng)計(jì)性質(zhì)引進(jìn)了濾波理論，在假設(shè)信號和噪聲都是平穩(wěn)過程的條件下，利用最優(yōu)化方法對信號真值進(jìn)行估計(jì)，達(dá)到濾波目的，從而在概念上與傳統(tǒng)的濾波方法聯(lián)系起來，被稱為維納濾波。這種方法要求信號和噪聲都必須是以平穩(wěn)過程為條件。60年代初，卡爾曼(R．E．Kalman)和布塞(R． S．Bucy)發(fā)表了一篇重要的論文《線性濾波和預(yù)測 理論的新成果》，提出了一種新的線性濾波和預(yù)測理由論，被稱之為卡爾曼濾波。特點(diǎn)是在線性狀態(tài)空間表示的基礎(chǔ)上對有噪聲的輸入和觀測信號進(jìn)行處理，求取系統(tǒng)狀態(tài)或真實(shí)信號。

　　這種理論是在時間域上來表述的，基本的概念是：在線性系統(tǒng)的狀態(tài)空間表示基礎(chǔ)上，從輸出和輸入觀測數(shù)據(jù)求系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。這里所說的系統(tǒng)狀態(tài)，是總結(jié)系統(tǒng)所有過去的輸入和擾動對系統(tǒng)的作用的最小參數(shù)的集合，知道了系統(tǒng)的狀態(tài)就能夠與未來的輸入與系統(tǒng)的擾動一起確定系統(tǒng)的整個行為。

　　卡爾曼濾波不要求信號和噪聲都是平穩(wěn)過程的假設(shè)條件。對于每個時刻的系統(tǒng)擾動和觀測誤差（即噪聲），只要對它們的統(tǒng)計(jì)性質(zhì)作某些適當(dāng)?shù)募俣?，通過對含有噪聲的觀測信號進(jìn)行處理，就能在平均的意義上，求得誤差為最小的真實(shí)信號的估計(jì)值。因此，自從卡爾曼濾波理論問世以來，在通信系統(tǒng)、電力系統(tǒng)、航空航天、環(huán)境污染控制、工業(yè)控制、雷達(dá)信號處理等許多部門都得到了應(yīng)用，取得了許多成功應(yīng)用的成果。例如在圖像處理方面，應(yīng)用卡爾曼濾波對由于某些噪聲影響而造成模糊的圖像進(jìn)行復(fù)原。在對噪聲作了某些統(tǒng)計(jì)性質(zhì)的假定后，就可以用卡爾曼的算法以遞推的方式從模糊圖像中得到均方差最小的真實(shí)圖像，使模糊的圖像得到復(fù)原。

　　性質(zhì)

　?、倏柭鼮V波是一個算法，它適用于線性、離散和有限維系統(tǒng)。每一個有外部變量的自回歸移動平均系統(tǒng)(ARMAX)或可用有理傳遞函數(shù)表示的系統(tǒng)都可以轉(zhuǎn)換成用狀態(tài)空間表示的系統(tǒng)，從而能用卡爾曼濾波進(jìn)行計(jì)算。

　?、谌魏我唤M觀測數(shù)據(jù)都無助于消除x(t)的確定性。增益K(t)也同樣地與觀測數(shù)據(jù)無關(guān)。

　?、郛?dāng)觀測數(shù)據(jù)和狀態(tài)聯(lián)合服從高斯分布時用卡爾曼遞歸公式計(jì)算得到的是高斯隨機(jī)變量的條件均值和條件方差，從而卡爾曼濾波公式給出了計(jì)算狀態(tài)的條件概率密度的更新過程線性最小方差估計(jì)，也就是最小方差估計(jì)。

　　形式

　　卡爾曼濾波已經(jīng)有很多不同的實(shí)現(xiàn)，卡爾曼最初提出的形式一般稱為簡單卡爾曼濾波器。除此以外，還有施密特?cái)U(kuò)展濾波器、信息濾波器以及很多Bierman, Thornton 開發(fā)的平方根濾波器的變種。最常見的卡爾曼濾波器是鎖相環(huán)，它在收音機(jī)、計(jì)算機(jī)和幾乎任何視頻或通訊設(shè)備中廣泛存在。

　　實(shí)例

　　卡爾曼濾波的一個典型實(shí)例是從一組有限的，對物體位置的，包含噪聲的觀察序列中預(yù)測出物體的坐標(biāo)位置及速度。在很多工程應(yīng)用(雷達(dá)、計(jì)算機(jī)視覺)中都可以找到它的身影。同時，卡爾曼濾波也是控制理論以及控制系統(tǒng)工程中的一個重要話題。

　　應(yīng)用

　　比如，在雷達(dá)中，人們感興趣的是跟蹤目標(biāo)，但目標(biāo)的位置、速度、加速度的測量值往往在任何時候都有噪聲?？柭鼮V波利用目標(biāo)的動態(tài)信息,設(shè)法去掉噪聲的影響，得到一個關(guān)于目標(biāo)位置的好的估計(jì)。這個估計(jì)可以是對當(dāng)前目標(biāo)位置的估計(jì)(濾波)，也可以是對于將來位置的估計(jì)(預(yù)測)，也可以是對過去位置的估計(jì)(插值或平滑)。

　　擴(kuò)展卡爾曼濾波（EXTEND KALMAN FILTER, EKF）

　　擴(kuò)展卡爾曼濾波器

　　是由kalman filter考慮時間非線性的動態(tài)系統(tǒng)，常應(yīng)用于目標(biāo)跟蹤系統(tǒng)。

　　狀態(tài)估計(jì)

　　狀態(tài)估計(jì)

　　狀態(tài)估計(jì)是卡爾曼濾波的重要組成部分。一般來說，根據(jù)觀測數(shù)據(jù)對隨機(jī)量進(jìn)行定量推斷就是估計(jì)問題，特別是對動態(tài)行為的狀態(tài)估計(jì)，它能實(shí)現(xiàn)實(shí)時運(yùn)行狀態(tài)的估計(jì)和預(yù)測功能。比如對飛行器狀態(tài)估計(jì)。狀態(tài)估計(jì)對于了解和控制一個系統(tǒng)具有重要意義，所應(yīng)用的方法屬于統(tǒng)計(jì)學(xué)中的估計(jì)理論。最常用的是最小二乘估計(jì)，線性最小方差估計(jì)、最小方差估計(jì)、遞推最小二乘估計(jì)等。其他如風(fēng)險(xiǎn)準(zhǔn)則的貝葉斯估計(jì)、最大似然估計(jì)、隨機(jī)逼近等方法也都有應(yīng)用。

　　狀態(tài)量

　　受噪聲干擾的狀態(tài)量是個隨機(jī)量，不可能測得精確值，但可對它進(jìn)行一系列觀測，并依據(jù)一組觀測值，按某種統(tǒng)計(jì)觀點(diǎn)對它進(jìn)行估計(jì)。使估計(jì)值盡可能準(zhǔn)確地接近真實(shí)值，這就是最優(yōu)估計(jì)。真實(shí)值與估計(jì)值之差稱為估計(jì)誤差。若估計(jì)值的數(shù)學(xué)期望與真實(shí)值相等，這種估計(jì)稱為無偏估計(jì)?？柭岢龅倪f推最優(yōu)估計(jì)理論，采用狀態(tài)空間描述法，在算法采用遞推形式，卡爾曼濾波能處理多維和非平穩(wěn)的隨機(jī)過程。

　　理論

　　卡爾曼濾波理論的提出，克服了威納濾波理論的局限性使其在工程上得到了廣泛的應(yīng)用，尤其在控制、制導(dǎo)、導(dǎo)航、通訊等現(xiàn)代工程方面。

　　通俗解釋

　　簡單來說，卡爾曼濾波器是一個“optimal recursive data processing algorithm（最優(yōu)化自回歸數(shù)據(jù)處理算法）”。對于解決很大部分的問題，他是最優(yōu)，效率最高甚至是最有用的。他的廣泛應(yīng)用已經(jīng)超過30年，包括機(jī)器人導(dǎo)航，控制，傳感器數(shù)據(jù)融合甚至在軍事方面的雷達(dá)系統(tǒng)以及導(dǎo)彈追蹤等等。近來更被應(yīng)用于計(jì)算機(jī)圖像處理，例如頭臉識別，圖像分割，圖像邊緣檢測等等。

　　卡爾曼濾波器的介紹 ：

　　為了可以更加容易的理解卡爾曼濾波器，這里會應(yīng)用形象的描述方法來講解，而不是像大多數(shù)參考書那樣羅列一大堆的數(shù)學(xué)公式和數(shù)學(xué)符號。但是，他的5條公式是其核心內(nèi)容。結(jié)合現(xiàn)代的計(jì)算機(jī)，其實(shí)卡爾曼的程序相當(dāng)?shù)暮唵危灰憷斫饬怂哪?條公式。

　　在介紹他的5條公式之前，先讓我們來根據(jù)下面的例子一步一步的探索。

　　假設(shè)我們要研究的對象是一個房間的溫度。根據(jù)你的經(jīng)驗(yàn)判斷，這個房間的溫度是恒定的，也就是下一分鐘的溫度等于現(xiàn)在這一分鐘的溫度（假設(shè)我們用一分鐘來做時間單位）。假設(shè)你對你的經(jīng)驗(yàn)不是100%的相信，可能會有上下偏差幾度。我們把這些偏差看成是高斯白噪聲（White Gaussian Noise），也就是這些偏差跟前后時間是沒有關(guān)系的而且符合高斯分布（Gaussian Distribution）。另外，我們在房間里放一個溫度計(jì)，但是這個溫度計(jì)也不準(zhǔn)確的，測量值會比實(shí)際值偏差。我們也把這些偏差看成是高斯白噪聲。

　　好了，現(xiàn)在對于某一分鐘我們有兩個有關(guān)于該房間的溫度值：你根據(jù)經(jīng)驗(yàn)的預(yù)測值（系統(tǒng)的預(yù)測值）和溫度計(jì)的值（測量值）。下面我們要用這兩個值結(jié)合他們各自的噪聲來估算出房間的實(shí)際溫度值。

　　假如我們要估算k時刻的實(shí)際溫度值。首先你要根據(jù)k-1時刻的溫度值，來預(yù)測k時刻的溫度。因?yàn)槟阆嘈艤囟仁呛愣ǖ?，所以你會得到k時刻的溫度預(yù)測值是跟k-1時刻一樣的，假設(shè)是23度，同時該值的高斯噪聲的偏差是5度（5是這樣得到的：如果k-1時刻估算出的最優(yōu)溫度值的偏差是3，你對自己預(yù)測的不確定度是4度，他們平方相加再開方，就是5）。然后，你從溫度計(jì)那里得到了k時刻的溫度值，假設(shè)是25度，同時該值的偏差是4度。

　　由于我們用于估算k時刻的實(shí)際溫度有兩個溫度值，分別是23度和25度。究竟實(shí)際溫度是多少呢？相信自己還是相信溫度計(jì)呢？究竟相信誰多一點(diǎn)，我們可以用他們的協(xié)方差(covariance)來判斷。因?yàn)镵g=5^2/(5^2+4^2)，所以Kg=0.61，我們可以估算出k時刻的實(shí)際溫度值是：23+0.61*(25-23)=24.22度?？梢钥闯?，因?yàn)闇囟扔?jì)的協(xié)方差(covariance)比較?。ū容^相信溫度計(jì)），所以估算出的最優(yōu)溫度值偏向溫度計(jì)的值。

　　現(xiàn)在我們已經(jīng)得到k時刻的最優(yōu)溫度值了，下一步就是要進(jìn)入k+1時刻，進(jìn)行新的最優(yōu)估算。到現(xiàn)在為止，好像還沒看到什么自回歸的東西出現(xiàn)。對了，在進(jìn)入k+1時刻之前，我們還要算出k時刻那個最優(yōu)值（24.22度）的偏差。算法如下：((1-Kg)*5^2)^0.5=3.12。這里的5就是上面的k時刻你預(yù)測的那個23度溫度值的偏差，得出的3.12就是進(jìn)入k+1時刻以后k時刻估算出的最優(yōu)溫度值的偏差（對應(yīng)于上面的3）。

　　就是這樣，卡爾曼濾波器就不斷的把(協(xié)方差(covariance)遞歸，從而估算出最優(yōu)的溫度值。他運(yùn)行的很快，而且它只保留了上一時刻的協(xié)方差(covariance)。上面的Kg，就是卡爾曼增益（Kalman Gain）。他可以隨不同的時刻而改變他自己的值，是不是很神奇！

　　下面就要言歸正傳，討論真正工程系統(tǒng)上的卡爾曼。

　　卡爾曼濾波器算法 ：

　　在這一部分，我們就來描述源于Dr Kalman 的卡爾曼濾波器。下面的描述，會涉及一些基本的概念知識，包括概率（Probability），隨機(jī)變量（Random Variable），高斯或正態(tài)分配（Gaussian Distribution）還有State-space Model等等。但對于卡爾曼濾波器的詳細(xì)證明，這里不能一一描述。

　　首先，我們先要引入一個離散控制過程的系統(tǒng)。該系統(tǒng)可用一個線性隨機(jī)微分方程（Linear Stochastic Difference equation）來描述：

　　X(k)=A X(k-1)+B U(k)+W(k)

　　再加上系統(tǒng)的測量值：

　　Z(k)=H X(k)+V(k)

　　上兩式子中，X(k)是k時刻的系統(tǒng)狀態(tài)，U(k)是k時刻對系統(tǒng)的控制量。A和B是系統(tǒng)參數(shù)，對于多模型系統(tǒng)，他們?yōu)榫仃嚒(k)是k時刻的測量值，H是測量系統(tǒng)的參數(shù)，對于多測量系統(tǒng)，H為矩陣。W(k)和V(k)分別表示過程和測量的噪聲。他們被假設(shè)成高斯白噪聲(White Gaussian Noise)，他們的協(xié)方差(covariance)分別是Q，R（這里我們假設(shè)他們不隨系統(tǒng)狀態(tài)變化而變化）。

　　對于滿足上面的條件(線性隨機(jī)微分系統(tǒng)，過程和測量都是高斯白噪聲)，卡爾曼濾波器是最優(yōu)的信息處理器。下面我們結(jié)合他們的協(xié)方差來估算系統(tǒng)的最優(yōu)化輸出（類似上一節(jié)那個溫度的例子）。

　　首先我們要利用系統(tǒng)的過程模型，來預(yù)測下一狀態(tài)的系統(tǒng)。假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測出現(xiàn)在狀態(tài)：

　　X(k|k-1)=A X(k-1|k-1)+B U(k) ……….. (1)

　　式(1)中，X(k|k-1)是利用上一狀態(tài)預(yù)測的結(jié)果，X(k-1|k-1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒有控制量，它可以為0。

　　到現(xiàn)在為止，我們的系統(tǒng)結(jié)果已經(jīng)更新了，可是，對應(yīng)于X(k|k-1)的協(xié)方差還沒更新。我們用P表示協(xié)方差(covariance)：

　　P(k|k-1)=A P(k-1|k-1) A’+Q ……… (2)

　　式(2)中，P(k|k-1)是X(k|k-1)對應(yīng)的協(xié)方差，P(k-1|k-1)是X(k-1|k-1)對應(yīng)的協(xié)方差，A’表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過程的協(xié)方差。式子1，2就是卡爾曼濾波器5個公式當(dāng)中的前兩個，也就是對系統(tǒng)的預(yù)測。

　　現(xiàn)在我們有了現(xiàn)在狀態(tài)的預(yù)測結(jié)果，然后我們再收集現(xiàn)在狀態(tài)的測量值。結(jié)合預(yù)測值和測量值，我們可以得到現(xiàn)在狀態(tài)(k)的最優(yōu)化估算值X(k|k)：

　　X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1)) ……… (3)

　　其中Kg為卡爾曼增益(Kalman Gain)：

　　Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R) ……… (4)

　　到現(xiàn)在為止，我們已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要令卡爾曼濾波器不斷的運(yùn)行下去直到系統(tǒng)過程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的協(xié)方差：

　　P(k|k)=（I-Kg(k) H）P(k|k-1) ……… (5)

　　其中I 為1的矩陣，對于單模型單測量，I=1。當(dāng)系統(tǒng)進(jìn)入k+1狀態(tài)時，P(k|k)就是式子(2)的P(k-1|k-1)。這樣，算法就可以自回歸的運(yùn)算下去。

　　卡爾曼濾波器的原理基本描述了，式子1，2，3，4和5就是他的5 個基本公式。根據(jù)這5個公式，可以很容易用計(jì)算機(jī)編程實(shí)現(xiàn)。

　　在上面的例子中，過程誤差和測量誤差設(shè)定為4是為了討論的方便。實(shí)際中，溫度的變化速度以及溫度計(jì)的測量誤差都沒有這么大。