神經(jīng)網(wǎng)絡(luò)算法

 　　神經(jīng)網(wǎng)絡(luò)

　　思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

　　人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。

　　神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點。主要的研究工作集中在以下幾個方面：

　?。?）生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。

　　（2）建立理論模型。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識模型、物理化學(xué)模型、數(shù)學(xué)模型等。

　?。?）網(wǎng)絡(luò)模型與算法研究。在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型，以實現(xiàn)計算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱為技術(shù)模型研究。

　?。?）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實際的應(yīng)用系統(tǒng)，例如，完成某種信號處理或模式識別的功能、構(gòu)造專家系統(tǒng)、制成機(jī)器人等等。

　　縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。

　　人工神經(jīng)網(wǎng)絡(luò)

　　人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲、良好的自組織自學(xué)習(xí)能力等特點。BP（BackPropagation）算法又稱為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)算法在理論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號處理與模式識別、智能控制、故障診斷等許多領(lǐng)域都有著廣泛的應(yīng)用前景。

　　工作原理

　　人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說。19世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說。人們認(rèn)識到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個以上的神經(jīng)元，每立方毫米約有數(shù)萬個，它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò)，通過感覺器官和神經(jīng)接受來自身體內(nèi)外的各種信息，傳遞至中樞神經(jīng)系統(tǒng)內(nèi)，經(jīng)過對信息的分析和綜合，再通過運(yùn)動神經(jīng)發(fā)出控制信息，以此來實現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系，協(xié)調(diào)全身的各種機(jī)能活動。

　　神經(jīng)元也和其他類型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分為細(xì)胞體、軸突和樹突三部分。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。

　　樹突是細(xì)胞體的延伸部分，它由細(xì)胞體發(fā)出后逐漸變細(xì)，全長各部位都可與其他神經(jīng)元的軸突末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結(jié)合部，聯(lián)系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應(yīng)于神經(jīng)元之間耦合的極性。每個神經(jīng)元的突觸數(shù)目正常，最高可達(dá)10個。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲信息的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。

　　人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單基本元件——神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。

　　人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。

　　與數(shù)字計算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識別或過程控制。

　　人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對于寫“A”、“B”兩個字母的識別為例進(jìn)行說明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時，輸出為“0”。

　　所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。這時如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時，仍然能作出正確的判斷。

　　如果輸出為“0”(即結(jié)果錯誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個模式時，能夠作出迅速、準(zhǔn)確的判斷和識別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。

　　特點

　?。?）人類大腦有很強(qiáng)的自適應(yīng)與自組織特性，后天的學(xué)習(xí)與訓(xùn)練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運(yùn)用手勢；訓(xùn)練有素的運(yùn)動員可以表現(xiàn)出非凡的運(yùn)動技巧等等。

　　普通計算機(jī)的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結(jié)編制程序?qū)⑹掷щy。

　　人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以致超過設(shè)計者原有的知識水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督學(xué)習(xí)或稱無為導(dǎo)師學(xué)習(xí)，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。

　　（2）泛化能力

　　泛化能力指對沒有訓(xùn)練過的樣本，有很好的預(yù)測能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測能力。

　　(3)非線性映射能力

　　當(dāng)對系統(tǒng)對于設(shè)計人員來說，很透徹或者很清楚時，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數(shù)學(xué)模型很困難時，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢，因為它不需要對系統(tǒng)進(jìn)行透徹的了解，但是同時能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡化設(shè)計的難度。

　　(4)高度并行性

　　并行性具有一定的爭議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來的數(shù)學(xué)模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。

　　多少年以來，人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個角度企圖認(rèn)識并解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學(xué)科交叉技術(shù)領(lǐng)域，稱之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā)，提出不同的問題，從不同的角度進(jìn)行研究。

　　下面將人工神經(jīng)網(wǎng)絡(luò)與通用的計算機(jī)工作特點來對比一下：

　　若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠(yuǎn)低于計算機(jī)，前者為毫秒量級，而后者的頻率往往可達(dá)幾百兆赫。但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠(yuǎn)高于串行結(jié)構(gòu)的普通計算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。

　　人腦存貯信息的特點為利用突觸效能的變化來調(diào)整存貯內(nèi)容，也即信息存貯在神經(jīng)元之間連接強(qiáng)度的分布上，存貯區(qū)與計算機(jī)區(qū)合為一體。雖然人腦每日有大量神經(jīng)細(xì)胞死亡（平均每小時約一千個），但不影響大腦的正常思維活動。

　　普通計算機(jī)是具有相互獨(dú)立的存貯器和運(yùn)算器，知識存貯與數(shù)據(jù)運(yùn)算互不相關(guān)，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預(yù)想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴(yán)重的失常。

　　應(yīng)用及發(fā)展

　　心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲存和搜索信息的機(jī)制，弄清人腦功能的機(jī)理，建立人類認(rèn)知過程的微結(jié)構(gòu)理論。

　　生物學(xué)、醫(yī)學(xué)、腦科學(xué)專家試圖通過神經(jīng)網(wǎng)絡(luò)的研究推動腦科學(xué)向定量、精確和理論化體系發(fā)展，同時也寄希望于臨床醫(yī)學(xué)的新突破；信息處理和計算機(jī)科學(xué)家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構(gòu)造更加逼近人腦功能的新一代計算機(jī)。

　　人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至上世紀(jì)40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史。

　　1943年，心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。

　　1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計小組試制成功存儲程序式電子計算機(jī)，標(biāo)志著電子計算機(jī)時代的開始。1948年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲程序式計算機(jī)的根本區(qū)別，提出了以簡單神經(jīng)元構(gòu)成的再生自動機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲式計算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲式計算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然，馮·諾依曼的名字是與普通計算機(jī)聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。

　　50年代末，F(xiàn)·Rosenblatt設(shè)計制作了“感知機(jī)”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實踐。當(dāng)時，世界上許多實驗室仿效制作感知機(jī)，分別應(yīng)用于文字識別、聲音識別、聲納信號識別以及學(xué)習(xí)記憶問題的研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當(dāng)時數(shù)字計算機(jī)的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機(jī)可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機(jī)的工作得不到重視；其次，當(dāng)時的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在1968年一本名為《感知機(jī)》的著作中指出線性感知機(jī)功能是有限的，它不能解決如異感這樣的基本問題，而且多層網(wǎng)絡(luò)還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。

　　另外，在60年代初期，Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。

　　隨著人們對感知機(jī)興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長的時間。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平，完全付諸實用化，此外，數(shù)字計算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時機(jī)已經(jīng)成熟。美國的物理學(xué)家Hopfield于1982年和1984年在美國科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實性。隨即，一大批學(xué)者和研究人員圍繞著Hopfield提出的方法展開了進(jìn)一步的工作，形成了80年代中期以來人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。

　　1985年，Ackley、Hinton和Sejnowski將模擬退火算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，提出了Boltzmann機(jī)，該算法具有逃離極值的優(yōu)點，但是訓(xùn)練時間需要很長。

　　1986年，Rumelhart、Hinton和Williams提出了多層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，即BP算法。它從證明的角度推導(dǎo)算法的正確性，是學(xué)習(xí)算法有理論依據(jù)。從學(xué)習(xí)算法角度上看，是一個很大的進(jìn)步。

　　1988年，Broomhead和Lowe第一次提出了徑向基網(wǎng)絡(luò)：RBF網(wǎng)絡(luò)。

　　總體來說，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。