時(shí)間：2023-05-30 10:27:48
開(kāi)篇：寫(xiě)作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇bp神經(jīng)網(wǎng)絡(luò)，希望這些內(nèi)容能成為您創(chuàng)作過(guò)程中的良師益友，陪伴您不斷探索和進(jìn)步。
關(guān)鍵詞：bp神經(jīng)網(wǎng)絡(luò)；學(xué)習(xí)率；改進(jìn)算法
反向傳播BP（back propagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[1]。BP算法的思想是，學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符合，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止[2]。
1 BP標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)算法分析
1.1 BP算法存在的不足及原因分析
標(biāo)準(zhǔn)的BP算法因其簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn)，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最為成熟的訓(xùn)練算法之一。與早期的人工神經(jīng)網(wǎng)絡(luò)模型相比，BP反向傳播神經(jīng)網(wǎng)絡(luò)無(wú)論是在網(wǎng)絡(luò)理論還是網(wǎng)絡(luò)性能方面都更加成熟，起最突出的優(yōu)點(diǎn)就是具有很強(qiáng)的非線性映射能力。但人們?cè)谑褂眠^(guò)程中發(fā)現(xiàn)BP算法也存在著訓(xùn)練時(shí)間長(zhǎng)、收斂速度慢、易陷入局部最小點(diǎn)等缺陷。
1.1.1 學(xué)習(xí)算法的收斂速度慢
BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練次數(shù)過(guò)多，導(dǎo)致學(xué)習(xí)訓(xùn)練過(guò)程過(guò)長(zhǎng)，學(xué)習(xí)收斂速度太慢，即使一個(gè)比較簡(jiǎn)單的問(wèn)題，也需要幾百次甚至上千次的學(xué)習(xí)才收斂。
1.1.2 隱含層層數(shù)及節(jié)點(diǎn)數(shù)的選取缺乏理論指導(dǎo)。
BP神經(jīng)網(wǎng)絡(luò)隱含層的層數(shù)以及節(jié)點(diǎn)數(shù)的選取，目前尚無(wú)理論上的指導(dǎo)，大多根據(jù)經(jīng)驗(yàn)確定。因此網(wǎng)絡(luò)往往具有很大的冗余性，無(wú)形中增加了學(xué)習(xí)的時(shí)間。
1.1.3 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)
BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶具有不穩(wěn)定性。當(dāng)給一個(gè)訓(xùn)練結(jié)束的BP神經(jīng)網(wǎng)絡(luò)提供新的記憶模式時(shí)，會(huì)破壞已經(jīng)調(diào)整完畢的網(wǎng)絡(luò)連接權(quán)值，導(dǎo)致已經(jīng)記憶的學(xué)習(xí)模式信息消失。
2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法
2.1 學(xué)習(xí)方法的改進(jìn)
對(duì)于標(biāo)準(zhǔn)的BP算法，由于其自身存在的缺點(diǎn)，BP算法的研究提出了一些的改進(jìn)算法，如自適應(yīng)調(diào)節(jié)學(xué)習(xí)率[3]，引入兜度因子[4]，使用雙曲正切函數(shù)[5]，但是都沒(méi)有取得非常理想的效果，對(duì)此我們可以采用以下的算法來(lái)解決問(wèn)題。
2.1.1 加入動(dòng)量項(xiàng)
反向傳播算法提供使用最速下降方法在權(quán)空間計(jì)算得到的軌跡的一種近似。我們使用的學(xué)習(xí)率參數(shù)η越小，從一次迭代到下一次迭代的網(wǎng)絡(luò)突觸權(quán)值的變化量越小，軌跡在權(quán)值空間越光滑。我們可以設(shè)想使用一下的方法來(lái)解決這個(gè)問(wèn)題。
ΔWji（n）=αΔWji（n-1）+ηδj（n）yi（n） （1）
α是動(dòng)量常數(shù)，通常是整數(shù)。
為了看出動(dòng)量常數(shù)在一系列模式呈現(xiàn)上對(duì)突觸權(quán)值的影響，我們將（1）式重新寫(xiě)成帶下標(biāo)t的一個(gè)時(shí)間系列。索引t從初始時(shí)間0到當(dāng)前時(shí)間n，式（1）可被視為權(quán)值修正量ΔWji（n）的一階差分方程。解這個(gè)關(guān)于ΔWji（n）的方程得到
這代表一個(gè)長(zhǎng)度為n+1的時(shí)間序列，并且我們可以知道δj（n）yi（n）等于- 因此我們可以把公式（2）重寫(xiě)等等價(jià)形式
當(dāng)前修正值ΔWji（n）代表指數(shù)加權(quán)的時(shí)間序列的和。欲使時(shí)間序列收斂，動(dòng)量常數(shù)α必須限制在0和1之間。當(dāng)α等于0，反向傳播算法運(yùn)行起來(lái)沒(méi)有動(dòng)量。雖然在實(shí)際中動(dòng)量常數(shù)α不大可能是負(fù)的，但是還有可正可負(fù)。
當(dāng)偏導(dǎo)數(shù) 在連續(xù)迭代中有相同的代數(shù)符號(hào)，指數(shù)加權(quán)和ΔWji（n）在數(shù)量上增加，所以權(quán)值ΔWji（n）被大幅度調(diào)整。在反向傳播算法中包含動(dòng)量趨于在穩(wěn)定的下降方向上加速下降。
當(dāng)偏導(dǎo)數(shù) 在連續(xù)迭代中有相反的代數(shù)符號(hào)，指數(shù)加權(quán)和ΔWji（n）在數(shù)量上減少，所以權(quán)值ΔWji（n）調(diào)整不大。在反向傳播算法中包含動(dòng)量具有穩(wěn)定符號(hào)正負(fù)擺動(dòng)方向的效果。
3 仿真實(shí)驗(yàn)
根據(jù)以上的算法，我們對(duì)標(biāo)準(zhǔn)的BP算法和改進(jìn)的BP算法進(jìn)行仿真計(jì)算，仿真計(jì)算的結(jié)果如表1所示。
可以看出改進(jìn)后得算法能減少迭代次數(shù)，減少實(shí)際誤差。
4 結(jié)論
從大量的實(shí)際應(yīng)用來(lái)看，收斂速率慢，學(xué)習(xí)時(shí)間長(zhǎng)，產(chǎn)生振蕩，甚至達(dá)不到收斂精度是常規(guī)BP算法的主要缺陷，通過(guò)對(duì)BP算法的改進(jìn)，增加動(dòng)量項(xiàng)，可以減少BP算法的迭代次數(shù)，減少誤差，提高BP算法的工作效率。
[參考文獻(xiàn)]
[1]Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究[J].計(jì)算機(jī)工程與科學(xué)，2013年8月.
[2]韓立群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京：人民郵電出版社，2007年7月.
[3]馬銳.人工神經(jīng)網(wǎng)絡(luò)原理[M].北京：機(jī)械工業(yè)出版社，2010年9月.
1方法
BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)，一般由一個(gè)輸入層（inputlayer）、一個(gè)輸出層（outputlayer）、一個(gè)或幾個(gè)中間層（隱層）組成，每一層可包含一個(gè)或多個(gè)神經(jīng)元，其中每一層的每個(gè)神經(jīng)元和前一層相連接，同一層之間沒(méi)有連接。輸入層神經(jīng)元傳遞輸入信息到第一隱層或直接傳到輸出層，隱層的神經(jīng)元對(duì)輸入層的信息加權(quán)求和，加一個(gè)常數(shù)后，經(jīng)傳遞函數(shù)運(yùn)算后傳到下一個(gè)隱層（或輸出層），常用的傳遞函數(shù)是logistic函數(shù)，即φh=1/(1+exp(－z))，輸出層神經(jīng)元對(duì)前一層的輸入信息加權(quán)求和經(jīng)傳遞函數(shù)φ0（線性或logistic函數(shù)或門限函數(shù)）運(yùn)算后輸出，例如：如果輸入為xi，對(duì)于含一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)可以得到：
g(xi,θ)=φ0(αk+∑i≠kwikxi+∑jwjkφh(αj+∑iwijxi))（1）
θ表示未知的參數(shù)矢量（即各層的網(wǎng)絡(luò)權(quán)值），BP神經(jīng)網(wǎng)絡(luò)一般采用BP算法訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練開(kāi)始時(shí)選擇初始值0，BP算法通過(guò)梯度下降法得到估計(jì)值，使得g(x,)能很好地估計(jì)實(shí)測(cè)值，關(guān)于BP算法及改進(jìn)可參考相關(guān)文獻(xiàn)［1］。
利用BP神經(jīng)網(wǎng)絡(luò)模型建立生存分析模型，常用的方法有：連續(xù)時(shí)間模型（continuoustimemodels）與離散時(shí)間模型（discretetimemodels）。
1.1連續(xù)時(shí)間模型（continuoustimemodels）
最常用的是Faraggi和Simon［2］提出的方法，在Cox比例風(fēng)險(xiǎn)模型中,風(fēng)險(xiǎn)函數(shù)與時(shí)間、協(xié)變量有如下關(guān)系：
h(t,xi)=h0(t)exp(βxi)（2）
通過(guò)最大化偏似然函數(shù)，使用Newton-Raphson法得到參數(shù)的估計(jì)值，現(xiàn)在使用神經(jīng)網(wǎng)絡(luò)的輸出值g(xi,θ)來(lái)代替（2）中的線性項(xiàng)βxi，比例風(fēng)險(xiǎn)模型變成h(t,xi)=h0(t)exp［g(xi,θ)］，有偏似然函數(shù)：
Lc(θ)=∏i∈uexp∑jwjk/(1+exp(－wijxi))/∑j∈Riexp∑jwjk/(1+exp(－wijxj))(3)
g(xi,θ)可以依賴時(shí)間和協(xié)變量變化，也就是說(shuō)協(xié)變量的效應(yīng)可以隨時(shí)間而變化，這給我們提供了一個(gè)可以處理刪失變量但又不需要滿足比例風(fēng)險(xiǎn)模型的PH假定的可供選擇的方法。
1.2離散時(shí)間模型（discretetimemodels）
常用的模型有［3］：（1）直接預(yù)測(cè)患者是否可以存活到某年(例如5年)，是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，模型的輸出層只有一個(gè)神經(jīng)元結(jié)點(diǎn)，如欲預(yù)測(cè)多個(gè)時(shí)間點(diǎn)，則需建立多個(gè)神經(jīng)網(wǎng)絡(luò)模型（每個(gè)模型對(duì)應(yīng)一個(gè)時(shí)間區(qū)間)；（2）多個(gè)輸出結(jié)點(diǎn)的單個(gè)神經(jīng)網(wǎng)絡(luò)模型。
1.2.1輸出層有單個(gè)結(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型是一個(gè)標(biāo)準(zhǔn)的分類神經(jīng)網(wǎng)絡(luò)模型，生存時(shí)間被分成2個(gè)區(qū)間，例如生存時(shí)間是否大于5年。其似然函數(shù)為：
∏patientsptii(1-pi)(1-ti)
其對(duì)數(shù)似然函數(shù)為：
∑patientstilogpi+(1-ti)log(1-pi)
pi：第i個(gè)病人死亡的概率，ti：第i個(gè)觀測(cè)在某時(shí)間點(diǎn)（例如5年）的結(jié)果，如觀測(cè)死亡，取值為1，否則取值為0。對(duì)于刪失的觀測(cè)不能簡(jiǎn)單地排除，這樣會(huì)造成偏性，我們使用Cox線性比例風(fēng)險(xiǎn)模型產(chǎn)生的個(gè)體預(yù)測(cè)值對(duì)刪失值做填補(bǔ)。
1.2.2輸出層有多個(gè)結(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型將生存時(shí)間分成幾個(gè)離散的區(qū)間，估計(jì)某個(gè)區(qū)間事件發(fā)生的概率。
不考慮時(shí)間區(qū)間的順序，有模型：logpk-logp1=ηk(X)(k=2,…,P)
從神經(jīng)網(wǎng)絡(luò)可以得到輸出值yk：yk=∑iwikxi+∑jwjkφ1(∑iwijxi)（K=1，…，P）（這里我們?cè)O(shè)ηk(x)=yk－y1），
于是可以得到時(shí)間區(qū)間k的概率：pk=exp(yk)∑l(yl)
建立似然函數(shù)∏patients∑lik=mi+1pki
mi：觀測(cè)i存活的前一個(gè)生存區(qū)間，li：最后的時(shí)間區(qū)間，pki：第i個(gè)病人在時(shí)間區(qū)間k死亡的概率。
本次研究采用靈敏度、特異度、一致性指數(shù)C(concordanceindex)［4,5］作為預(yù)測(cè)準(zhǔn)確性的評(píng)價(jià)指標(biāo)。一致性指數(shù)C是對(duì)含有刪失數(shù)據(jù)的ROC曲線下面積的推廣(generalization)，是指預(yù)測(cè)結(jié)果和實(shí)際結(jié)果一致的觀察單位的對(duì)子數(shù)占總的有用對(duì)子數(shù)的比例,即C=一致的對(duì)子數(shù)/有用的對(duì)子數(shù)，C接近0.5表明模型的預(yù)測(cè)性能差，接近1表明預(yù)測(cè)性能好。一致性指數(shù)的計(jì)算步驟為［5］：①產(chǎn)生所有的病例配對(duì)。若有n個(gè)觀察個(gè)體,則所有的對(duì)子數(shù)為C2n。②排除兩種對(duì)子:對(duì)子中具有較小觀察時(shí)間的個(gè)體沒(méi)有達(dá)到觀察終點(diǎn)及對(duì)子中2個(gè)個(gè)體都沒(méi)達(dá)到觀察終點(diǎn)。③計(jì)算有用對(duì)子中,預(yù)測(cè)結(jié)果和實(shí)際相一致的對(duì)子數(shù),④計(jì)算一致性指數(shù)。
2實(shí)例分析
賁門癌是常見(jiàn)惡性腫瘤,對(duì)236例經(jīng)手術(shù)切除但未行放化療的賁門癌患者隨訪，生存時(shí)間為確診到最后一次隨訪，按月記錄，分析的協(xié)變量包括：性別、年齡、腫瘤的長(zhǎng)度、組織學(xué)類型、大體分型、浸潤(rùn)深度、淋巴結(jié)轉(zhuǎn)移情況、TNM分期等臨床上可能的預(yù)后因素。為了減少訓(xùn)練時(shí)間，先采用COX比例危險(xiǎn)模型對(duì)可能影響預(yù)后的因素進(jìn)行篩選，采用向前逐步法，引入標(biāo)準(zhǔn)為0.05，剔除標(biāo)準(zhǔn)為0.10，結(jié)果顯示對(duì)賁門癌患者生存率有影響的因素為：病人的腫瘤長(zhǎng)度、淋巴結(jié)轉(zhuǎn)移情況、組織學(xué)類型、篩選結(jié)果見(jiàn)表1。
表1賁門癌患者生存的COX逐步回歸分析結(jié)果（略）
Tab.1TheresultofCoxregressionmodelforcarcinomaofthegastriccardia
2.1BP網(wǎng)訓(xùn)練集、校驗(yàn)集和測(cè)試集的確定
從原始數(shù)據(jù)中隨機(jī)抽取80例作為訓(xùn)練集，80例作為校驗(yàn)集，76例為預(yù)測(cè)樣本。
2.2輸入數(shù)據(jù)的預(yù)處理
使輸入變量的取值落在0到1的范圍內(nèi)。對(duì)于腫瘤長(zhǎng)度使用x′i=ximax(x)進(jìn)行歸一化處理；病理分型為無(wú)序分類變量，以啞變量的形式賦值。
2.3神經(jīng)網(wǎng)絡(luò)模型的建立及訓(xùn)練
選取Cox回歸選出的3個(gè)變量作為網(wǎng)絡(luò)的輸入。建立輸出層為1個(gè)結(jié)點(diǎn)的離散型神經(jīng)網(wǎng)絡(luò)時(shí)，將病人生存時(shí)間按下式分為兩類作為輸出變量
yi（i=1,2,…,n），
即yi=1生存t≥5年
0生存t<5年；建立輸出層為5個(gè)結(jié)點(diǎn)的離散型神經(jīng)網(wǎng)絡(luò)時(shí)，將病人生存時(shí)間分為5類作為輸出變量yi，time<1year，1year≤time<2year，2≤time<3year，3≤time<5year，time>5year。
使用Matlab軟件建立神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)率為0.01，傳遞函數(shù)采用logistic傳遞函數(shù),單結(jié)點(diǎn)網(wǎng)絡(luò)的隱單元數(shù)為2，多結(jié)點(diǎn)網(wǎng)絡(luò)隱單元數(shù)為3，采用“早停止”策略防止過(guò)度擬合。
2.4兩種神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)性能
使用靈敏度、特異度、一致性指數(shù)C評(píng)價(jià)模型的預(yù)測(cè)性能。
表2兩種神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)性能*（略）
Tab.2Thepredictiveperformanceofthreetypeofneuralnetwork
*判斷界值取0.5
3討論
神經(jīng)網(wǎng)絡(luò)已在語(yǔ)音識(shí)別、圖像診斷分析、臨床診斷、高分子序列分析等許多方面取得了成功的應(yīng)用，在醫(yī)學(xué)研究領(lǐng)域，變量間關(guān)系往往非常復(fù)雜，神經(jīng)網(wǎng)絡(luò)正逐漸變成分析數(shù)據(jù)的流行工具，目前主要應(yīng)用于分類與預(yù)測(cè)，用于生存分析方面的研究還較少。國(guó)內(nèi)黃德生［5］等建立利用BP神經(jīng)網(wǎng)絡(luò)建立time-codedmodel和single-timepointmodel用于肺鱗癌預(yù)后預(yù)測(cè)，賀佳［6］等對(duì)肝癌術(shù)后無(wú)瘤生存期的預(yù)測(cè)做了應(yīng)用嘗試。
本文通過(guò)實(shí)例建立連續(xù)時(shí)間模型與離散時(shí)間模型探討B(tài)P神經(jīng)網(wǎng)絡(luò)在生存分析中的應(yīng)用，F(xiàn)araggi提出的方法還可以擴(kuò)展到其他可以處理刪失數(shù)據(jù)的模型,例如加速失效時(shí)間模型、Buckley-James模型，但哪一種模型更好，還有待進(jìn)一步研究。神經(jīng)網(wǎng)絡(luò)在生存分析中的應(yīng)用主要在于［7］：個(gè)體患者預(yù)后的預(yù)測(cè)，研究預(yù)后因子的重要性，研究預(yù)后因子的相互作用；對(duì)于預(yù)測(cè)變量的影響力強(qiáng)弱，解釋性還有待進(jìn)一步探討。還有研究者在建立多個(gè)時(shí)間區(qū)間的模型時(shí)將時(shí)間區(qū)間也作為一個(gè)輸入變量，也有學(xué)者將神經(jīng)網(wǎng)絡(luò)納入Bayes方法的研究框架，神經(jīng)網(wǎng)絡(luò)建立的生存分析模型可以探測(cè)復(fù)雜的非線性效應(yīng)，復(fù)雜的交互效應(yīng)，相信會(huì)逐漸應(yīng)用到生物醫(yī)學(xué)研究領(lǐng)域。
[關(guān)鍵詞]數(shù)據(jù)挖掘 BP神經(jīng)網(wǎng)絡(luò) CPI預(yù)測(cè)
一、引言
目前，隨著居民收入的快速增長(zhǎng)，中國(guó)居民消費(fèi)能力不斷升級(jí)，尤其是近期我國(guó)居民消費(fèi)價(jià)格總水平出現(xiàn)了明顯上漲，其中糧食、豬肉等食品價(jià)格屢創(chuàng)新高。對(duì)于相關(guān)部門來(lái)說(shuō)，應(yīng)努力做到關(guān)注國(guó)際形勢(shì)的同時(shí)，根據(jù)市場(chǎng)價(jià)格的變化情況進(jìn)行科學(xué)分析，最終制定合理的綜合性措施。應(yīng)用現(xiàn)代技術(shù)對(duì)CPI進(jìn)行預(yù)測(cè)在當(dāng)前來(lái)說(shuō)是很有意義的，國(guó)內(nèi)很多專家學(xué)者在這方面都做了研究。以往學(xué)者對(duì)CPI的預(yù)測(cè)更多的是運(yùn)用計(jì)量經(jīng)濟(jì)學(xué)方法，而通過(guò)數(shù)據(jù)挖掘方法進(jìn)行CPI預(yù)測(cè)的研究不多，值得我們進(jìn)一步探討。
BP神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用最廣泛的人工神經(jīng)預(yù)測(cè)網(wǎng)絡(luò)，它獨(dú)有的容錯(cuò)性和泛化能力能較好地進(jìn)行預(yù)測(cè)。本文選用SPSS公司的Clementine來(lái)進(jìn)行BP網(wǎng)絡(luò)模型的實(shí)現(xiàn)，Clementine中的工具箱使BP網(wǎng)絡(luò)的建立、訓(xùn)練以及預(yù)測(cè)都變得非常簡(jiǎn)單，而且訓(xùn)練過(guò)程及效果非常直觀，使神經(jīng)網(wǎng)絡(luò)應(yīng)用于實(shí)際具有更大的可行性。
二、BP神經(jīng)網(wǎng)絡(luò)概述
BP網(wǎng)絡(luò)是在1974年由Worbos提出，1986年Rumelhart和McCelland等人對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播（Error Back Proragation）算法進(jìn)行了詳盡的分析，實(shí)現(xiàn)了Minsky關(guān)于多層前饋網(wǎng)絡(luò)的設(shè)想。
BP算法基本思想：學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的逆向傳播兩個(gè)過(guò)程組成，正向傳播時(shí)，模式作用于輸入層，經(jīng)隱層處理后，傳向輸出層。若輸出層未能得到期望的輸出，則轉(zhuǎn)入誤差的逆向傳播階段，將輸出誤差按某種形式通過(guò)隱層向輸入層逐層返回，并分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，以作為修改各單元權(quán)值的依據(jù)，這種信號(hào)正向傳播與誤差逆向傳播的各層權(quán)矩陣的修改過(guò)程是周而復(fù)始地進(jìn)行的。權(quán)值不斷修改的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。BP神經(jīng)網(wǎng)絡(luò)在進(jìn)行設(shè)計(jì)時(shí)，主要考慮以下因素。
1.網(wǎng)絡(luò)層數(shù)。一般BP網(wǎng)絡(luò)由一個(gè)輸入層，一個(gè)輸出層，及若干隱含層構(gòu)成。實(shí)際應(yīng)用中，通常利用一個(gè)隱含層就基本上能滿足大部分應(yīng)用問(wèn)題的需求，因?yàn)閮蓪拥纳窠?jīng)網(wǎng)絡(luò)可以逼近任何非線性函數(shù)。而盲目地增加隱含層層數(shù)，往往會(huì)使學(xué)習(xí)速度變慢，同時(shí)增加了結(jié)構(gòu)的復(fù)雜性。
2.輸入層節(jié)點(diǎn)數(shù)。輸入層節(jié)點(diǎn)數(shù)由影響輸出變量的變量個(gè)數(shù)來(lái)決定，一般來(lái)說(shuō)有幾個(gè)變量對(duì)輸出變量的結(jié)果有影響就選擇幾個(gè)輸入層節(jié)點(diǎn)。輸入網(wǎng)絡(luò)的節(jié)點(diǎn)過(guò)少，會(huì)使得網(wǎng)絡(luò)不能很好地獲得輸入與輸出數(shù)據(jù)的非線性關(guān)系，如果過(guò)多，就會(huì)增加過(guò)度適應(yīng)的危險(xiǎn)和增大了訓(xùn)練集的大小。
3.輸出層節(jié)點(diǎn)數(shù)。輸出層節(jié)點(diǎn)數(shù)取決于輸出數(shù)據(jù)類型和表示該類型所需的具體數(shù)據(jù)。
4.隱層節(jié)點(diǎn)數(shù)。一個(gè)具有無(wú)限隱層節(jié)點(diǎn)的兩層BP網(wǎng)絡(luò)可以逼近任何非線性函數(shù)，但對(duì)于輸入與輸出均為有限個(gè)的網(wǎng)絡(luò)，并不需要無(wú)限個(gè)隱層節(jié)點(diǎn)，這就涉及到如何選擇隱層節(jié)點(diǎn)數(shù)的問(wèn)題，而這一問(wèn)題的復(fù)雜性，使得至今為止，尚未找到一個(gè)很好的解析式，隱層節(jié)點(diǎn)數(shù)往往根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己進(jìn)行試驗(yàn)來(lái)確定，也可從1、2、3開(kāi)始。一般認(rèn)為，隱層節(jié)點(diǎn)數(shù)與數(shù)據(jù)、尋找的模式以及網(wǎng)絡(luò)的類型都有直接的關(guān)系。另外，隱層節(jié)點(diǎn)數(shù)太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)；而隱層節(jié)點(diǎn)數(shù)太少，容錯(cuò)性差，識(shí)別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面的因素進(jìn)行設(shè)計(jì)。
隱層節(jié)點(diǎn)數(shù)的初始值可由（1）式來(lái)確定：
式中：m、n分別為輸入層結(jié)點(diǎn)數(shù)與輸出層結(jié)點(diǎn)數(shù)，l為隱層節(jié)點(diǎn)數(shù)。
5.傳遞函數(shù)。BP神經(jīng)網(wǎng)絡(luò)中的傳遞函數(shù)通常采用S（sigmoid）型函數(shù)，即
上式中x為前面組合函數(shù)的結(jié)果，一般取進(jìn)入單元的輸入加權(quán)和。
三、BP網(wǎng)絡(luò)在CPI預(yù)測(cè)中的應(yīng)用實(shí)例
我國(guó)的CPI由食品、煙酒及用品、衣著、家庭設(shè)備用品及服務(wù)、醫(yī)療保健及個(gè)人用品、交通和通信、娛樂(lè)教育文化用品及服務(wù)、居住等類構(gòu)成。CPI具有較強(qiáng)的非線性特性，要對(duì)其進(jìn)行較為準(zhǔn)確的預(yù)測(cè)，就應(yīng)該采用能捕捉非線性變化規(guī)律的方法。筆者將BP神經(jīng)網(wǎng)絡(luò)引入到CPI預(yù)測(cè)中來(lái)，用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)CPI相對(duì)增長(zhǎng)率，彌補(bǔ)傳統(tǒng)預(yù)測(cè)方法的不足。顯然，CPI相對(duì)增長(zhǎng)率與類別各自的增長(zhǎng)率有關(guān)，在本文中正是從這類別對(duì)CPI的影響來(lái)進(jìn)行模型的構(gòu)建。
1.數(shù)據(jù)讀取
本實(shí)例選取國(guó)家統(tǒng)計(jì)局的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行研究，同時(shí)采用Access作為數(shù)據(jù)庫(kù)平臺(tái)，前八個(gè)字段為當(dāng)月CPI構(gòu)成的類別指數(shù)，第九個(gè)字段為下月CPI，取部分記錄顯示，見(jiàn)表1：
表1 居民消費(fèi)價(jià)格指數(shù)表
2.數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理對(duì)于數(shù)據(jù)挖掘是一個(gè)重要的問(wèn)題，因?yàn)楝F(xiàn)實(shí)中的數(shù)據(jù)多半是不完整的、有噪聲的和不一致的。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約。數(shù)據(jù)清理可以去掉數(shù)據(jù)中的臟數(shù)據(jù)，糾正不一致，包括空值處理、規(guī)范化數(shù)據(jù)格式、拆分?jǐn)?shù)據(jù)等。數(shù)據(jù)集成將數(shù)據(jù)由多個(gè)源合并成一致的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)歸約可以通過(guò)聚集、刪除冗余特性或聚類等方法來(lái)壓縮數(shù)據(jù)。本文中數(shù)據(jù)預(yù)處理主要是對(duì)各輸入指標(biāo)進(jìn)行歸一化處理，以便進(jìn)行BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)建。即將數(shù)值限定在［0，1］區(qū)間內(nèi)，歸一化公式為：
該步驟在Clementine中通過(guò)Field Ops部分的Derive組件實(shí)現(xiàn)。
3.模型構(gòu)建及應(yīng)用分析
本研究采用只含一隱層的BP網(wǎng)絡(luò)，選取輸入層節(jié)點(diǎn)數(shù)為8（分別為某個(gè)月的8個(gè)類別各自的相對(duì)增長(zhǎng)率）；輸出層節(jié)點(diǎn)數(shù)為1（為下個(gè)月的居民消費(fèi)價(jià)格指數(shù)的相對(duì)增長(zhǎng)率），同時(shí)根據(jù)前述經(jīng)驗(yàn)公式，選取隱層節(jié)點(diǎn)數(shù)為3，而傳遞函數(shù)則選取默認(rèn)的S型函數(shù)。在本模型中，還需設(shè)置以下參數(shù)，動(dòng)量因子0.8，初始學(xué)習(xí)速率0.4，最大訓(xùn)練步數(shù)300。以上參數(shù)的選取以及模型的構(gòu)建均在Clementine中實(shí)現(xiàn)，流程如圖1所示。
在本模型中，隨機(jī)抽取數(shù)據(jù)的70％作為訓(xùn)練樣本，30％作為驗(yàn)證樣本，來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練過(guò)程見(jiàn)圖2。
圖1 模型流程圖
圖2 模型訓(xùn)練過(guò)程
從圖2中可以看到該模型的準(zhǔn)確度較高，誤差在允許的范圍內(nèi)波動(dòng)，故將該模型應(yīng)用于CPI預(yù)測(cè)是切實(shí)可行的。緊接著，將上文構(gòu)建出的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于2007年10月CPI預(yù)測(cè)中，因前半部分流程同圖1，故從居民消費(fèi)指數(shù)節(jié)點(diǎn)開(kāi)始截取，流程如圖3所示。
圖3 預(yù)測(cè)過(guò)程
表2 2007年10月CPI預(yù)測(cè)結(jié)果
通過(guò)模型應(yīng)用，預(yù)測(cè)結(jié)果如表2所示。從表2的$N-下月居民消費(fèi)價(jià)格指數(shù)歸一值字段中可以看到，2007年10月，居民消費(fèi)價(jià)格指數(shù)歸一值為0.968，通過(guò)公式（3）逆推算出當(dāng)月CPI原值為106.25。該值在一定程度上反應(yīng)了近期宏觀政策制定的效果，從近期政策面及各方面反應(yīng)來(lái)看，該預(yù)測(cè)結(jié)果基本符合該月的真實(shí)情況?？偟膩?lái)說(shuō)，該模型的性能比較良好，可以達(dá)到對(duì)CPI進(jìn)行預(yù)測(cè)的目的。
四、結(jié)論
通過(guò)上文我們能夠看到，BP神經(jīng)網(wǎng)絡(luò)在CPI預(yù)測(cè)中具有較高的精度，在已知上月類別指數(shù)的情況下，通過(guò)該模型能夠很快地計(jì)算出較準(zhǔn)確的當(dāng)月CPI指數(shù)，這能夠給相關(guān)部門進(jìn)行綜合性措施的制定提供較大的幫助，同時(shí)能夠提供較為科學(xué)的依據(jù)。本文初步嘗試采用CPI近幾年數(shù)據(jù)建立BP神經(jīng)網(wǎng)絡(luò)模型，旨在提出一種進(jìn)行CPI預(yù)測(cè)的新思路。但由于CPI指數(shù)近幾年來(lái)才按現(xiàn)行的標(biāo)準(zhǔn)進(jìn)行統(tǒng)計(jì)，數(shù)據(jù)量有限，加上政策的制定對(duì)CPI的直接影響，所以在應(yīng)用該模型進(jìn)行預(yù)測(cè)時(shí)可能會(huì)出現(xiàn)一些大的誤差，但總體來(lái)說(shuō)，該模型已基本能夠?qū)PI進(jìn)行預(yù)測(cè)。當(dāng)然，在應(yīng)用該模型時(shí)，應(yīng)隨著新數(shù)據(jù)的進(jìn)一步加入調(diào)整模型的各項(xiàng)參數(shù)，以使模型訓(xùn)練及預(yù)測(cè)能夠達(dá)到最理想的效果。
參考文獻(xiàn)：
［1］黃章樹(shù)，王前輝.基于數(shù)據(jù)挖掘的電信增值業(yè)務(wù)營(yíng)銷策略研究［J］.福州大學(xué)學(xué)報(bào)（社科版），2005，（4）.
［2］黃章樹(shù)，王鳳英.基于決策樹(shù)技術(shù)的福州市居民出行特征分析［J］.重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，（3）.
【摘 要】為解決神經(jīng)網(wǎng)絡(luò)在沉降預(yù)報(bào)應(yīng)用中的局限性，結(jié)合灰色理論等維信息策略和BP神經(jīng)網(wǎng)絡(luò)建模思想，利用數(shù)據(jù)序列本身構(gòu)建訓(xùn)練樣本，建立BP神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型，并利用數(shù)學(xué)工具M(jìn)ATLAB編程實(shí)現(xiàn)，進(jìn)行模擬的變形預(yù)測(cè)，通過(guò)與灰色理論GM(1，1)模型的預(yù)報(bào)效果進(jìn)行比較，表明該BP神經(jīng)網(wǎng)絡(luò)模型具有更高的預(yù)報(bào)精度，可以達(dá)到更好的預(yù)報(bào)效果。
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；變形檢測(cè)；沉降預(yù)報(bào)最佳值為7；輸入層和隱層的傳遞函數(shù)(Tfi)用缺省的正切S形函數(shù)(tansig)，輸出層用線形函數(shù)(purelin)；網(wǎng)絡(luò)訓(xùn)練函數(shù)(BTF)使用動(dòng)量批梯度下降函數(shù)(traingdm)，它具有更快的收斂速度，而且引入了一個(gè)動(dòng)量項(xiàng)mc，避免了局部最小問(wèn)題的出現(xiàn)；網(wǎng)絡(luò)權(quán)值、閾值學(xué)習(xí)函數(shù)(BLF)和性能函數(shù)(PF)采用MATLAB缺省值；對(duì)輸入數(shù)據(jù)、目標(biāo)數(shù)據(jù)、輸出數(shù)據(jù)的處理，使用MATLAB提供的歸一化函數(shù)(premnmx)和反歸一化函數(shù)(postmnmx)。運(yùn)行程序時(shí)先用訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)預(yù)報(bào)樣本進(jìn)行預(yù)報(bào)?；疑碚揋M(1，1)模型同樣利用MATLAB編程實(shí)現(xiàn)。
2.3結(jié)果分析
首先用MATLAB編寫(xiě)的灰色理論GM（1，1）模型和BP神經(jīng)網(wǎng)絡(luò)模型分別處理訓(xùn)練樣本，得到相應(yīng)的擬合誤差。其中GM（1,1）相對(duì)模型擬合誤差主要為18.97、4.48、9.07、33.71、7.63、4.08、9.50等，等維BP網(wǎng)絡(luò)模型擬合誤差主要為6.66、0.97、0.29、6.16、2.06、4.44.并且通過(guò)之前得到的模擬數(shù)據(jù)可以得出BP神經(jīng)網(wǎng)絡(luò)模型擬合的平均誤差以及GM(1，1)模型擬合的平均誤差為11.82%。BP神經(jīng)網(wǎng)絡(luò)模型擬合的誤差小于GM(1，1)模型擬合的誤差為3.10%，其擬合精度高于灰色理論GM(1，1)模型。為了進(jìn)一步檢測(cè)灰色理論GM(1，1)模型和BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)報(bào)精度，再分別用兩種模型對(duì)監(jiān)測(cè)點(diǎn)的沉降數(shù)據(jù)的預(yù)報(bào)樣本進(jìn)行預(yù)報(bào)，并可從中得出BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)報(bào)精度遠(yuǎn)高于灰色GM(1，1)模型的結(jié)果。
三、結(jié)論
本文引入灰色理論中新陳代謝思想構(gòu)造神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本，建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，并用該模型進(jìn)行了實(shí)際的沉降預(yù)測(cè)。工程模擬實(shí)例表明：用等維BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行沉降預(yù)測(cè)是可行的，預(yù)報(bào)精度遠(yuǎn)高于灰色GM(1，1)模型。為了提高BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度，一方面需要有足夠的觀測(cè)數(shù)據(jù)序列，以保證神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所需的樣本數(shù)。另一方面需要恰當(dāng)?shù)卮_定輸入層神經(jīng)元的個(gè)數(shù)，目前尚無(wú)據(jù)可依，只能通過(guò)根據(jù)試算確定。
參考文獻(xiàn)
[1] 趙全.地面沉降數(shù)學(xué)模擬及其應(yīng)用的研究[D].天津： 天津大學(xué)，2011.
[2] 于先文，胡伍生，王繼剛.神經(jīng)網(wǎng)絡(luò)在建筑物沉降分析中的應(yīng)用[J].測(cè)繪工程，2010，13(4)：48-50.
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；PID控制；直流電機(jī)調(diào)速系統(tǒng)
1.引言
PID控制以其算法簡(jiǎn)單，魯棒性好和可靠性高等優(yōu)點(diǎn)，廣泛地應(yīng)用于工業(yè)生產(chǎn)當(dāng)中，成為衡量各行各業(yè)現(xiàn)代化水平的一個(gè)重要標(biāo)志。隨著科學(xué)技術(shù)的發(fā)展，生產(chǎn)工藝的日益復(fù)雜化，生產(chǎn)系統(tǒng)具有非線性，時(shí)變不確定性，在實(shí)際生產(chǎn)中，常規(guī)PID控制器參數(shù)往往整定不良、性能欠佳，對(duì)運(yùn)行工況的適應(yīng)性很差[1]。
BP神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng)能力和魯棒性，可以用來(lái)處理高維、非線性、強(qiáng)耦合和不確定性的復(fù)雜控制系統(tǒng)。本文結(jié)合BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)和傳統(tǒng)PID控制的優(yōu)勢(shì)，對(duì)PID控制器進(jìn)行優(yōu)化，使其具有很強(qiáng)的自適應(yīng)性和魯棒性。通過(guò)對(duì)直流電機(jī)調(diào)速系統(tǒng)仿真，結(jié)果表明，這種方法是有效的。
2.PID控制原理
PID是工業(yè)生產(chǎn)中最常用的一種控制方式，PID調(diào)節(jié)器是一種線性調(diào)節(jié)器，它將給定值r（t）與實(shí)際輸出值c（t）的偏差的比例（P）、積分（I）、微（D）通過(guò)線性組合構(gòu)成控制量，對(duì)控制對(duì)象進(jìn)行控制。傳統(tǒng)的PID控制系統(tǒng)原理框圖如圖2.1所示，系統(tǒng)主要由PID控制器和被控對(duì)象組成。它根據(jù)給定值rin（t）與實(shí)際輸出值yout（t）構(gòu)成控制偏差額e（t）：
圖2.1為PID控制系統(tǒng)原理框圖。
3.基于BP神經(jīng)網(wǎng)絡(luò)的PID整定原理
PID控制要取得好的控制效果，就必須通過(guò)調(diào)整好比例、積分和微分三種控制作用在形成控制量中相互配合又相互制約的關(guān)系，這種關(guān)系不一定是簡(jiǎn)單的“線性組合”，而是從變化無(wú)窮的非線性組合中找出最佳的關(guān)系[2]。BP神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng)能力和魯棒性，將PID和BP神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，建立參數(shù)自學(xué)習(xí)的PID控制器。其結(jié)構(gòu)如圖3.1所示。
經(jīng)典增量式數(shù)字PID的控制算式為：
式中，是與、、、u（k-1）、y（k）等有關(guān)的非線性函數(shù)，可以用BP神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練和學(xué)習(xí)找到這樣一個(gè)最佳控制規(guī)律。
假設(shè)BP神經(jīng)網(wǎng)絡(luò)NN是一個(gè)三層BP網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3.4所示，有M個(gè)輸入節(jié)點(diǎn)、Q個(gè)隱層節(jié)點(diǎn)、三個(gè)輸出節(jié)點(diǎn)。輸出節(jié)點(diǎn)分別對(duì)應(yīng)控制器的三個(gè)可調(diào)參數(shù)，，。其激發(fā)函數(shù)為非負(fù)的Sigmoid函數(shù)。而隱含層的激發(fā)函數(shù)可取正負(fù)對(duì)稱的Sigmoid函數(shù)。
神經(jīng)網(wǎng)絡(luò)的前向算法如下：設(shè)PID神經(jīng)網(wǎng)絡(luò)有M個(gè)輸入，3個(gè)輸出（，，），上標(biāo)（1）（2）（3）分別代表輸入層、隱含層和輸出層，該P(yáng)ID神經(jīng)網(wǎng)絡(luò)在任意采樣時(shí)刻k的前向計(jì)算公式（3-3）如下所述：
基于BP神經(jīng)網(wǎng)絡(luò)PID控制算法可以歸納為：①選定BPNN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出各層加權(quán)系數(shù)的初值，選定學(xué)習(xí)速率和慣性系數(shù)；②采樣得到和，計(jì)算；③對(duì)進(jìn)行歸一化處理，作為BPNN的輸入；④計(jì)算BPNN的各層神經(jīng)元的輸入和輸出，輸出層的輸出即為PID控制器的3個(gè)參數(shù)，，；⑤計(jì)算PID控制器的輸出，參與控制和計(jì)算；⑥計(jì)算修正輸出層的加權(quán)系數(shù)；⑦計(jì)算修正隱含層的加權(quán)系數(shù)：⑧置，返回②[3]。
4.仿真實(shí)例
仿真試驗(yàn)中所用的直流電機(jī)參數(shù)Pnom =10kw，nom=1000r/min，Unom=220V，I=55A，電樞電阻Ra=0.5Ω，V-M系統(tǒng)主電路總電阻R=1Ω，額定磁通下的電機(jī)電動(dòng)勢(shì)轉(zhuǎn)速比=0.1925V.min/r，電樞回路電磁時(shí)間常數(shù)Ta=0.017s，系統(tǒng)運(yùn)動(dòng)部分飛輪距相應(yīng)的機(jī)電時(shí)間常數(shù)Tm=0.075，整流觸發(fā)裝置的放大系數(shù)=44，三相橋平均失控時(shí)間Ts=0.00167s，拖動(dòng)系統(tǒng)測(cè)速反饋系數(shù)=0.001178V.min/r，比例積分調(diào)節(jié)器的兩個(gè)系數(shù)T1=0.049s，T2=0.088s。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)采用4-5-3，學(xué)習(xí)速率和慣性系數(shù)，加權(quán)系數(shù)初始值取區(qū)間[-0.5，0.5]上的隨機(jī)數(shù)。利用simulink模塊建立模型如圖4.1所示。
從上面的仿真結(jié)果中，進(jìn)行比較分析后，可以得出常規(guī)PID控制系統(tǒng)BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)兩者對(duì)于在零時(shí)刻加幅度為1的階躍信號(hào)，它們有著不同響應(yīng)曲線。為了便于比較，可以將兩者的響應(yīng)結(jié)果列表，見(jiàn)表4.1。
5.結(jié)論
由仿真結(jié)果可知，BP神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的最大超調(diào)量和調(diào)整時(shí)間均比常規(guī)PID控制系統(tǒng)的最大超調(diào)量要小。這說(shuō)明利用BP神經(jīng)網(wǎng)絡(luò)對(duì)PID控制器進(jìn)行優(yōu)化具有有良好的自學(xué)習(xí)、自適應(yīng)能力和魯棒性，在工業(yè)生產(chǎn)中，具有更高的價(jià)值。
參考文獻(xiàn)
[1]王敬志，任開(kāi)春，胡斌.基于BP神經(jīng)網(wǎng)絡(luò)整定的PID控制[J].工業(yè)控制計(jì)算機(jī)，2011（3）：72-75.
1BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
1986年，Rumelhart，Hinton和Williams完整而簡(jiǎn)明地提出一種ANN的誤差反向傳播訓(xùn)練算法（簡(jiǎn)稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問(wèn)題，由此算法構(gòu)成的網(wǎng)絡(luò)我們稱為BP網(wǎng)絡(luò)。
1.1BP神經(jīng)網(wǎng)絡(luò)的基本原理
BP網(wǎng)絡(luò)的基本思路是將訓(xùn)練過(guò)程分為兩個(gè)階段，第一階段正向傳播，輸入信息從輸入層經(jīng)隱含層單元處理后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。倘若在輸出層得不到希望的輸出，則轉(zhuǎn)入第二階段反向傳播，將誤差信號(hào)沿原來(lái)的神經(jīng)元連接通路返回。通過(guò)修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算。這樣，反復(fù)地運(yùn)用這兩個(gè)過(guò)程，使得誤差信號(hào)最小，最后使得信號(hào)誤差達(dá)到允許的范圍之內(nèi)。
1.2BP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型
BP神經(jīng)元的結(jié)構(gòu)模式如圖1所示，基于以下幾點(diǎn)假定：其一，每一個(gè)神經(jīng)元是一個(gè)多輸入單輸出的信息單元；其二，突觸分興奮性和抑制性兩種類型；其三，神經(jīng)元輸出有閾值特性；其四，神經(jīng)元輸入與輸出間有固定的時(shí)滯；其五，忽略時(shí)間的整合和不應(yīng)期；其六，神經(jīng)元本身是非時(shí)變的。BP神經(jīng)元的三個(gè)重要功能：一是加權(quán)-可對(duì)每個(gè)輸入信號(hào)進(jìn)行不同程度的加權(quán)；二是求和-確定全部輸入信號(hào)的組合效果；三是轉(zhuǎn)移-通過(guò)轉(zhuǎn)移函數(shù)f（.），確定其輸出。1.3BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的主要功能決定于兩個(gè)方面：一是網(wǎng)絡(luò)的組成結(jié)構(gòu)形式，也就是BP神經(jīng)網(wǎng)絡(luò)的連接方式；二是網(wǎng)絡(luò)的學(xué)習(xí)和運(yùn)行規(guī)則，及網(wǎng)絡(luò)中連接權(quán)值的調(diào)整規(guī)則。如圖2和圖3所示，BP神經(jīng)網(wǎng)絡(luò)多層網(wǎng)絡(luò)有單層網(wǎng)絡(luò)級(jí)連而成，即網(wǎng)絡(luò)中下一層各神經(jīng)元接受前一層各神經(jīng)元的輸出。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元；每一個(gè)隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負(fù)責(zé)信息變換；最后一個(gè)隱層將信息傳遞到輸出層，輸出層將信息進(jìn)一步處理后即向外界輸出信息處理結(jié)果，完成了一次從輸入到輸出的信息處理。由輸出層構(gòu)成多層網(wǎng)絡(luò)時(shí)，各層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)只相當(dāng)于一個(gè)單層網(wǎng)絡(luò)，其映射和存儲(chǔ)能力絲毫不比單層強(qiáng)。
2BP神經(jīng)網(wǎng)絡(luò)在鋼鐵工業(yè)中的應(yīng)用
2.1BP神經(jīng)網(wǎng)絡(luò)在鋼鐵冶煉中的應(yīng)用
近年來(lái)，BP神經(jīng)網(wǎng)絡(luò)以其并行運(yùn)算及強(qiáng)大的非線性處理能力被廣泛應(yīng)用于轉(zhuǎn)爐煉鋼控制中，隨后轉(zhuǎn)爐人工智能靜態(tài)控制模型被成功開(kāi)發(fā)，使終點(diǎn)命中率有了很大提高。因此，國(guó)內(nèi)外許多學(xué)者進(jìn)行了大量的基于神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐控制研究［8，9］。AmlanDatta等［10］報(bào)道了在轉(zhuǎn)爐煉鋼過(guò)程中開(kāi)發(fā)BP神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)鋼水中硫含量。模型經(jīng)40個(gè)樣本學(xué)習(xí)后，現(xiàn)場(chǎng)應(yīng)用的實(shí)際相關(guān)系數(shù)為0.87。水城鋼鐵（集團(tuán)）有限責(zé)任公司煉鋼廠的張毅［11］采用3層BP神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)煉鋼成品的C、Si、Mn成分，根據(jù)煉鋼的實(shí)際生產(chǎn)數(shù)據(jù)選取鐵水、廢鋼、供氧、吹氬、硅錳合金、增碳劑等28個(gè)因素作為輸入變量，對(duì)輸入?yún)?shù)進(jìn)行歸一化處理，采取附加動(dòng)量項(xiàng)和自適應(yīng)學(xué)習(xí)步長(zhǎng)的措施，解決了BP神經(jīng)網(wǎng)絡(luò)局部收斂和學(xué)習(xí)時(shí)間過(guò)長(zhǎng)的問(wèn)題，提高了神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)的準(zhǔn)確率。杭州電子科技大學(xué)的朱亞萍［12］針對(duì)轉(zhuǎn)爐煉鋼靜態(tài)模型終點(diǎn)命中率較低的問(wèn)題，分析了影響轉(zhuǎn)爐煉鋼終點(diǎn)命中率的各種因素包括鐵水量、鐵水溫度、鐵水各項(xiàng)化學(xué)成分含量等共17個(gè)變量，確定了BP神經(jīng)網(wǎng)絡(luò)（BPNN）的拓?fù)浣Y(jié)構(gòu)，并依此建立了轉(zhuǎn)爐煉鋼靜態(tài)模型，該研究提高了轉(zhuǎn)爐煉鋼靜態(tài)模型的終點(diǎn)C含量和溫度預(yù)測(cè)精度。寶鋼的楊志勇等［13］針對(duì)鐵水預(yù)處理粉劑模型，設(shè)計(jì)了BP人工神經(jīng)元網(wǎng)絡(luò)數(shù)學(xué)模型，并給出了在系統(tǒng)中的應(yīng)用方案，使脫硫效果提高8%，符合現(xiàn)場(chǎng)實(shí)際生產(chǎn)需求，由于模型精確度大幅提高，脫硫生產(chǎn)操作過(guò)程能夠得以穩(wěn)定，極大地減輕了高爐和轉(zhuǎn)爐的脫硫負(fù)擔(dān)。
2.2BP神經(jīng)網(wǎng)絡(luò)在鋼鐵軋制中的應(yīng)用
AMukhopadhyay，AIqbal等［14］采用三層BP神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)了低碳熱軋板的極限強(qiáng)度、屈服強(qiáng)度和延伸率，并研究了不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)預(yù)報(bào)準(zhǔn)確率的影響，該模型采用121組數(shù)據(jù)進(jìn)行驗(yàn)證，驗(yàn)證值與實(shí)測(cè)值吻合良好。該模型已在印度塔塔鋼鐵公司熱軋廠成功在線應(yīng)用。山東萊蕪鋼鐵集團(tuán)有限公司板帶廠的王洪彬［15］利用所建BP神經(jīng)網(wǎng)絡(luò)卷取溫度預(yù)設(shè)模型提高了卷取溫度的控制精度，能夠給出不同厚度規(guī)格時(shí)的可靠的預(yù)設(shè)定值，從而減輕了反饋控制的負(fù)擔(dān)，提高了卷取溫度的控制質(zhì)量。重慶鋼鐵集團(tuán)公司的朱穎杰等人［16］利用BP神經(jīng)網(wǎng)絡(luò)的方法預(yù)測(cè)SPCC冷軋帶鋼產(chǎn)品力學(xué)性能并以現(xiàn)場(chǎng)得到的化學(xué)成分（C、Si、Mn、P、S、Al）和工藝參數(shù)（退火溫度、軋制速度）正交試驗(yàn)數(shù)據(jù)為基礎(chǔ)，采用離線學(xué)習(xí)的方法得出網(wǎng)絡(luò)的預(yù)報(bào)值，BP神經(jīng)網(wǎng)絡(luò)具有良好的預(yù)報(bào)性能，實(shí)測(cè)值與預(yù)報(bào)值之間的偏差不超過(guò)8%。昆明理工大學(xué)的栗景樹(shù)等人［17］以昆鋼熱軋產(chǎn)品Q235為例，對(duì)熱軋板帶的質(zhì)量預(yù)測(cè)進(jìn)行研究。利用BP神經(jīng)網(wǎng)絡(luò)理論建立以化學(xué)成分、軋制參數(shù)為輸入，以力學(xué)性能為輸出的質(zhì)量預(yù)測(cè)模型-BP熱軋板帶質(zhì)量模型，并利用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)質(zhì)量模型，對(duì)產(chǎn)品的力學(xué)性能進(jìn)行預(yù)測(cè)，98%的預(yù)測(cè)輸出與實(shí)際輸出誤差在5%以下。北京科技大學(xué)的吳晉斌等人［18］以0.33%C，0.40%Si，1.50%Mn，0.099%V的中碳含釩微合金鋼在應(yīng)變速率為0.005～30s-1、溫度為750～1050℃條件下的單向熱壓縮變形實(shí)驗(yàn)數(shù)據(jù)為樣本數(shù)據(jù)，用商用軟件matlab6.5構(gòu)建BP人工神經(jīng)網(wǎng)絡(luò)模型。適用于預(yù)測(cè)一定溫度與應(yīng)變速率范圍內(nèi)（0.1～0.9）應(yīng)變處的熱變形流變應(yīng)力，與常用的表征穩(wěn)態(tài)或峰值應(yīng)變處的流變應(yīng)力與溫度和應(yīng)變速率關(guān)系的Arrhenius方程相比，應(yīng)用范圍更廣。東北大學(xué)的邱紅雷等人［19］為了提高中厚板軋機(jī)軋制力的預(yù)報(bào)精度，采用軋制力模型自適應(yīng)與人工神經(jīng)元網(wǎng)絡(luò)相結(jié)合的方法進(jìn)行中厚板軋制力的在線預(yù)報(bào)。應(yīng)用結(jié)果表明，采用本方法預(yù)報(bào)軋制力時(shí)精度優(yōu)于傳統(tǒng)的數(shù)學(xué)模型，相對(duì)誤差可以控制在±3%以內(nèi)。
2.3BP神經(jīng)網(wǎng)絡(luò)在漏鋼預(yù)測(cè)中的應(yīng)用
連續(xù)鑄鋼生產(chǎn)過(guò)程中漏鋼是最嚴(yán)重的事故之一，在20世紀(jì)70年代后期，為盡可能降低連鑄過(guò)程中發(fā)生漏鋼事故所造成的損失，研發(fā)了連鑄漏鋼預(yù)報(bào)技術(shù)［20，21］。20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)開(kāi)始應(yīng)用于漏鋼預(yù)報(bào)系統(tǒng)中［22-24］。目前，國(guó)內(nèi)外工程中獲得實(shí)際應(yīng)用的神經(jīng)元模型大部分是BP網(wǎng)絡(luò)模型。田陸等人［25］提出了一種基于前饋反向傳播（BP算法）神經(jīng)網(wǎng)絡(luò)的漏鋼預(yù)報(bào)系統(tǒng)。通過(guò)神經(jīng)網(wǎng)絡(luò)分析漏鋼前一段時(shí)間結(jié)晶器的溫度特征曲線，提前診斷出漏鋼的可能性，做出及時(shí)的預(yù)報(bào)，防止漏鋼的發(fā)生。此系統(tǒng)得到了廣泛的應(yīng)用。東北大學(xué)的厲英等人［26］建立了BP神經(jīng)網(wǎng)絡(luò)漏鋼預(yù)測(cè)模型，增加了BP神經(jīng)網(wǎng)絡(luò)參數(shù)，改變了傳統(tǒng)只考慮溫度因素的方式，將拉速和中間包鋼水溫度作為輸入?yún)?shù)，擴(kuò)大了漏鋼因素的考慮范圍，提高了預(yù)報(bào)的準(zhǔn)確性，對(duì)某鋼廠現(xiàn)場(chǎng)實(shí)際數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測(cè)，實(shí)驗(yàn)測(cè)試結(jié)果準(zhǔn)確率為100%。2.4BP神經(jīng)網(wǎng)絡(luò)在鋼材組織及性能中的應(yīng)用鋼的力學(xué)性能與其化學(xué)成分和工藝參數(shù)間呈現(xiàn)高度的非線性關(guān)系，難以用數(shù)學(xué)模型精確描述，但人工神經(jīng)網(wǎng)絡(luò)特別適合描述非線性關(guān)系，在鋼的力學(xué)性能的研究中有重要作用。近年人工神經(jīng)網(wǎng)絡(luò)在鋼的性能預(yù)測(cè)方面得到了廣泛的應(yīng)用，取得了令人滿意的結(jié)果。C觟l等人［27］采用廣義回歸神經(jīng)網(wǎng)絡(luò)（GRNN）對(duì)一種APIX65微合金化鋼的韌性進(jìn)行預(yù)測(cè)。網(wǎng)絡(luò)的輸入為化學(xué)成分（C、Nb、Ti、N），冶煉工藝參數(shù)（鋼液總量，硬硼酸鈣石、石灰、FeMn、FeSi、Al、CaSi加入量，吹A(chǔ)r量，吹A(chǔ)r時(shí)間），加工工藝參數(shù)（保溫溫度、保溫時(shí)間、出爐溫度、變形率、終軋厚度、終軋溫度、卷取溫度），網(wǎng)絡(luò)的輸出為沖擊功。預(yù)測(cè)結(jié)果表明GRNN能有效地預(yù)測(cè)沖擊功，相關(guān)系數(shù)為0.984，平均相對(duì)誤差為3.04%。XuLiujie等［28］采用BP網(wǎng)絡(luò)根據(jù)淬火溫度和回火溫度預(yù)測(cè)高釩高速鋼（HVH-SS）殘余奧氏體量、硬度、磨粒磨損強(qiáng)度；采用貝葉斯正則化與LevenbergMarquardt算法結(jié)合的改進(jìn)的BP網(wǎng)絡(luò)，改進(jìn)后的BP網(wǎng)絡(luò)能精確預(yù)測(cè)奧氏體量、硬度、磨粒磨損強(qiáng)度，并能用于研究熱處理工藝對(duì)性能的影響規(guī)律，從而確定最佳熱處理工藝。改變?cè)撲撝蠽、C含量后采用與上述相同的BP網(wǎng)絡(luò)對(duì)磨損失重進(jìn)行預(yù)測(cè)，該BP網(wǎng)絡(luò)能精確預(yù)測(cè)磨損失重并反映化學(xué)成分與磨損失重間的關(guān)系，從而確定了V、C的最優(yōu)加入量［29］。FWMargrave等用超聲波探傷儀，對(duì)含有裂紋、線缺陷、穿孔、夾渣、氣孔等缺陷的試樣進(jìn)行探傷，測(cè)得能表征缺陷的不同形狀、位置、尺寸、服役條件（應(yīng)力）等情況的回波信號(hào)，再將這些信號(hào)處理后作為BP神經(jīng)網(wǎng)絡(luò)的輸入，輸出端為上述5種缺陷和無(wú)缺陷共6個(gè)輸出變量。缺陷的識(shí)別準(zhǔn)確率大于90%。
3BP神經(jīng)網(wǎng)絡(luò)在鋼鐵工業(yè)中的局限及發(fā)展前景
BP神經(jīng)網(wǎng)絡(luò)存在學(xué)習(xí)收斂速度慢、學(xué)習(xí)時(shí)間長(zhǎng)和數(shù)據(jù)依賴性強(qiáng)等局限性，因此尋找合適的算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，解決上述問(wèn)題，是BP神經(jīng)網(wǎng)絡(luò)發(fā)展的重要研究方向。多年來(lái)，圍繞BP神經(jīng)網(wǎng)絡(luò)陷入局部極小值的問(wèn)題，國(guó)內(nèi)外的研究者做了大量的工作。解決這一問(wèn)題，必須徹底擺脫依賴梯度信息來(lái)指導(dǎo)數(shù)值調(diào)整方向，引進(jìn)其他算法與BP算法相互結(jié)合。因此，模擬退火法、單純形法、趨化性算法、隨機(jī)學(xué)習(xí)算法、動(dòng)量算法以及遞推最小二乘（RLS）技術(shù)等方法應(yīng)運(yùn)而生。針對(duì)學(xué)習(xí)時(shí)間長(zhǎng)這一問(wèn)題，現(xiàn)在一般采用離線學(xué)習(xí)、在線預(yù)報(bào)作為變通手段。BP神經(jīng)網(wǎng)絡(luò)的發(fā)展為冶金工作者提供了一個(gè)全新的知識(shí)獲取和處理手段。與其它傳統(tǒng)模型（如數(shù)學(xué)模型、回歸模型、時(shí)間序列模型及經(jīng)驗(yàn)分析模型）相比，它具有較強(qiáng)的抗噪聲和非線性問(wèn)題處理能力。另外，它的實(shí)時(shí)性又使其能對(duì)過(guò)程實(shí)現(xiàn)在線響應(yīng)。基于此，它被越來(lái)越多地收入到專家系統(tǒng)中，同時(shí)，其結(jié)構(gòu)價(jià)值也在專家系統(tǒng)的功能應(yīng)用中得到體現(xiàn)。
【關(guān)鍵詞】 BP神經(jīng)網(wǎng)絡(luò);動(dòng)量梯度下降算法;免疫學(xué)數(shù)據(jù)
作者單位:116044大連醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)系(陳艷霞);
大連醫(yī)科大學(xué)檢驗(yàn)醫(yī)學(xué)院(劉揮)
人工神經(jīng)網(wǎng)絡(luò)理論以非線性大規(guī)模并行分布處理為特點(diǎn),突破了傳統(tǒng)的線性處理模式,以其高度的并行性,良好的容錯(cuò)性和自適應(yīng)能力成為人們研究其賴以生存的非線性世界、探索和研究某些復(fù)雜大系統(tǒng)的有力工具,已應(yīng)用于很多領(lǐng)域的信息處理工作。
BP算法的多層前饋網(wǎng)絡(luò)的人工神經(jīng)網(wǎng)絡(luò)模型采用典型的有教師學(xué)習(xí)方式來(lái)進(jìn)行預(yù)測(cè)和分類問(wèn)題的處理。采用的傳遞函數(shù)通常是sigmoid型可微函數(shù),可以實(shí)現(xiàn)輸入和輸出間的任意非線性映射。這使其在函數(shù)逼近、模式識(shí)別、數(shù)據(jù)壓縮領(lǐng)域有著更加廣泛的應(yīng)用。該模型的特點(diǎn)是信號(hào)由輸入層單向傳遞到輸出層,同一層神經(jīng)元之間互不傳遞信息,每個(gè)神經(jīng)元與鄰近層所有神經(jīng)元相連,各神經(jīng)元的作用函數(shù)為Sigmoid函數(shù),用樣本集合反復(fù)訓(xùn)練網(wǎng)絡(luò),并不斷修改權(quán)值,直到使實(shí)際輸出向量達(dá)到要求,訓(xùn)練過(guò)程結(jié)束。應(yīng)用BP網(wǎng)絡(luò)處理正常狀態(tài)與處于焦慮狀態(tài)的學(xué)生的血液中免疫學(xué)指標(biāo)數(shù)據(jù),取得了很好的效果[1]。
1 基于BP網(wǎng)絡(luò)的醫(yī)學(xué)數(shù)據(jù)分析
數(shù)據(jù)選自在某大學(xué)就讀的大學(xué)生,共計(jì)48例。在自愿、正常學(xué)習(xí)生活的情況下抽取他們的血液標(biāo)本,然后再在考試前抽取他們的血液標(biāo)本,分別進(jìn)行五項(xiàng)免疫學(xué)指標(biāo)檢驗(yàn),共獲得兩類、五項(xiàng)、480組數(shù)據(jù)。隨機(jī)把其中的20例學(xué)生的兩類、五項(xiàng)數(shù)據(jù)做為訓(xùn)練集輸入矢量輸入,目標(biāo)矢量為處于考前狀態(tài)的五項(xiàng)數(shù)據(jù)輸出為1,平時(shí)正常生活狀態(tài)的五項(xiàng)數(shù)據(jù)輸出為0。網(wǎng)絡(luò)訓(xùn)練時(shí)調(diào)整神經(jīng)元之間的連接權(quán)值,使網(wǎng)絡(luò)的輸出和實(shí)際的兩類情況盡可能相符。如果對(duì)所有的訓(xùn)練樣本集網(wǎng)絡(luò)的輸出95%或更高能保證與實(shí)際結(jié)果一致,則訓(xùn)練過(guò)程結(jié)束。網(wǎng)絡(luò)訓(xùn)練好后,剩余的28例學(xué)生的5項(xiàng)數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入項(xiàng),神經(jīng)網(wǎng)絡(luò)的輸出值就是該學(xué)生是處于考前狀態(tài)1還是平時(shí)正常生活狀態(tài)0。主要設(shè)計(jì)程序如下:
%NEWFF-生成一個(gè)新的前向神經(jīng)網(wǎng)絡(luò);%TRAIN-對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;%SIM-對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真;pause %敲任意鍵開(kāi)始
clc
a1=[955 182 148222 1240]’;
a2=[1190 1911252421010]’;
a3=[1370291743461460]’;
a4=[1150 1962001511370]’;
a5=[821 109 82195 899]’;
a6=[1290246 112 299 1200]’;
a7=[876 132 139 166 952]’;
a8=[800 200 53.7214 873]’;
a9=[1210187 215 210 1370]’;
a10=[1090 131 68.5285 1380]’;
a11=[1240 433 154 224 1520]’;
a12=[1300 239 61.3289 1150]’;
a13=[1200 284 71.9119 1430]’;
a14=[1270 339 133 197 1210]’;
a15=[1210 248 151 125 1330]’;
a16=[1030 294 132 137 1040]’;
a17=[876151 126 194 1020]’;
a18=[1130 246 129 320 1470]’;
a19=[1020 196 157 225 1200]’;
a20=[1260 243 96.9143 1330]’;
b1=[910 188 127 216 1300]’;
b2=[1160177 136 268 1220]’;
b3=[1370287 101 321 1420]’;
b4=[947 159 170 111 1310]’;
b5=[911 116 66.2216 1140]’;
b6=[1320278 80.1305 1250]’;
b7=[804 147 150 177 987]’;
b8=[930 227 66.4245 962]’;
b9=[903 147 191 217 1380]’;
b10=[729121 59.2285 1330]’;
b11=[1180 436 144 220 1460]’;
b12=[949169 70.3240 972]’;
b13=[1150 273 65124 1520]’;
b14=[1150 172 118 179 1340]’;
b15=[1110 216 144 120 1320]’;
b16=[898260 112 197 1000]’;
b17=[866155 134 181 1050]’;
b18=[1060 235 158 149 1400]’;
b19=[887160 136 168 1450]’;
b20=[1320 286 92154 1410]’;
p=[a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13 a14 a15 a16 a17 a18 a19 a20 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12 b13 b14 b15 b16 b17 b18 b19 b20];%為輸入特征矢量!
t=[-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1];%為輸出目標(biāo)矢量?
%創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò)
net=newff(minmax(p),[12 1],{’tansig’,’purelin’},’trainlm’);
%==============設(shè)置網(wǎng)絡(luò)參數(shù)============================
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 10000;
net.trainParam.goal = 1e-1;
%=======================================================
[net,tr]=train(net,p,t); %對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練
echo off;
b=[1590 245 125 286 1330]’;
w=sim(net,b);
if w>0
disp(’0’);
else
disp(’1’);
end
表1
BP神經(jīng)網(wǎng)絡(luò)處理免疫學(xué)數(shù)據(jù)結(jié)果
神經(jīng)網(wǎng)絡(luò)
診斷結(jié)果訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)
正常狀態(tài)考前狀態(tài)正常狀態(tài)考前狀態(tài)
0 200243
10 20425
其中對(duì)于訓(xùn)練集,正常狀態(tài)與考前狀態(tài)的正確檢出率為100%。對(duì)于測(cè)試集,正常狀態(tài)的正確檢出率為85.7%;考前狀態(tài)的正確檢出率為89.3%。平均為87.5%。
3 討論
3.1 本研究所采用的人工神經(jīng)網(wǎng)絡(luò)檢驗(yàn)免疫數(shù)據(jù)的結(jié)果較好地符合了已知數(shù)據(jù),具有較高的準(zhǔn)確性。
3.2 要想進(jìn)一步提高該方法的準(zhǔn)確性,應(yīng)該注意收集更多更全面的檢驗(yàn)數(shù)據(jù)。如果我們所使用的數(shù)據(jù)越多越全面,則其中所蘊(yùn)含的事物本身的規(guī)律性就越強(qiáng),利用人工神經(jīng)網(wǎng)絡(luò)從中所抽取的函數(shù)關(guān)系就越具有普遍性,因而就更準(zhǔn)確。
3.3 可能對(duì)亞健康的診斷具有指導(dǎo)意義。亞健康問(wèn)題各國(guó)醫(yī)學(xué)界已作了一些研究,并取得了某些實(shí)際的成果。但是,由于亞健康的多種類型以及多種相關(guān)因素,使得現(xiàn)有的診斷在準(zhǔn)確性和實(shí)用性方面都存在著相當(dāng)?shù)木窒扌?如建模復(fù)雜困難。由于對(duì)影響罹病與否的各種因子的作用機(jī)制了解得不是很清楚,如何建立診斷模型,以及如何確定新建立的模型在何種程度上與實(shí)際情況相吻合還是一個(gè)問(wèn)題;容錯(cuò)能力不強(qiáng),適用范圍不廣;依賴于某些病例庫(kù)新建立起來(lái)的醫(yī)學(xué)模型往往具有很強(qiáng)的局限性,用于新的病例庫(kù)時(shí)誤差有時(shí)較大。另外,由于醫(yī)學(xué)方面的原因,我們收集到的數(shù)據(jù)有時(shí)不完整,而現(xiàn)有的研究方法所建立起的醫(yī)學(xué)模型由于容錯(cuò)性差,對(duì)這些不完整的數(shù)據(jù)通常都難以處理。人工神經(jīng)網(wǎng)絡(luò)理論突破了傳統(tǒng)的線性處理模式,以其高度的并行性,良好的容錯(cuò)性和自適應(yīng)能力成為人們研究其賴以生存的非線性世界,探索和研究某些復(fù)雜大系統(tǒng)的有力工具。對(duì)亞健康的診斷關(guān)鍵在于準(zhǔn)確找到亞健康的判定函數(shù),可能利用BP網(wǎng)絡(luò)的函數(shù)逼近功能來(lái)實(shí)現(xiàn)。這需要有更多的醫(yī)學(xué)數(shù)據(jù)來(lái)實(shí)踐檢驗(yàn)。
參 考 文 獻(xiàn)
1．1采用計(jì)算機(jī)模擬技術(shù)建立模擬模型
對(duì)BP神經(jīng)網(wǎng)絡(luò)模擬模型建立的基礎(chǔ)，人們是這樣認(rèn)為的，因?yàn)橛绊懝こ淘靸r(jià)的因素，大多數(shù)人們都是沒(méi)辦法確定的，所以我們不需要把這個(gè)值具體是多少確定下來(lái)，而是從另一個(gè)方面考慮，根據(jù)這個(gè)項(xiàng)目的基本情況，估計(jì)實(shí)際的造價(jià)落在某個(gè)范圍的機(jī)會(huì)會(huì)大一些，這個(gè)思想就是計(jì)算機(jī)模擬技術(shù)建立模擬模型的理論基礎(chǔ)。
1．2人工智能模型
工程造價(jià)估算專家系統(tǒng)，是通過(guò)人工智能，加上知識(shí)庫(kù)技術(shù)而建立起來(lái)的，可是這種人工智能模型主要靠專家的知識(shí)，來(lái)對(duì)工程造價(jià)進(jìn)行估計(jì)計(jì)算的，但是估算的結(jié)果是被估算人員的主觀意識(shí)所影響的，不同專家的性格，知識(shí)面的寬窄，經(jīng)驗(yàn)豐富與否、都是不確定因素，幾乎可以會(huì)所不一樣的估算專家所得出的結(jié)果都不會(huì)一樣。這種方法很容易帶有個(gè)人偏見(jiàn)和片面性。受專家的主觀偏見(jiàn)性較強(qiáng)。
2BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)造與算法
2．1人工神經(jīng)網(wǎng)絡(luò)的基本原理
1985，D•E•Rumelhart等人組成的PDP小組提出的一種神經(jīng)網(wǎng)絡(luò)模型，這就是我們今天所說(shuō)的BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是利用誤差反向傳播來(lái)消除誤差的，它有三個(gè)層次，有一個(gè)輸入層，第二個(gè)是隱層，最后一個(gè)當(dāng)然就是輸出層。在訓(xùn)練估算中，我們可以通過(guò)計(jì)算輸出值和我們預(yù)期的期望值，他們之間所產(chǎn)生的誤差，逆向思維，去求解輸出層單元的一般化誤差，然后再把誤差進(jìn)行反向傳播，把隱含層單元的一般化誤差求解出來(lái)，并最終調(diào)整輸出層和隱含層，包括輸入層之間的連接權(quán)，還有連接權(quán)與隱含層和輸出層的閾值，最終目的就是讓系統(tǒng)誤差達(dá)到我們可以接受為止。當(dāng)先前的系統(tǒng)誤差達(dá)到我們所需求的時(shí)候，權(quán)值和閾值就變成了固定不變的了，這樣我們?cè)偻ㄟ^(guò)反向逆推，就可以測(cè)出我們這個(gè)項(xiàng)目的未知信息。這就是人工神經(jīng)網(wǎng)絡(luò)的基本原理。
2．2BP神經(jīng)網(wǎng)絡(luò)模型建立的步驟
(1)我們首先確定模型輸入層，隱含層還有輸出層的神經(jīng)元個(gè)數(shù)。并且以此為依據(jù)，確定BP神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù);(2)神經(jīng)網(wǎng)絡(luò)只能處理－l～l之間的數(shù)據(jù)，所以在輸入網(wǎng)絡(luò)時(shí)，我們不僅需要對(duì)原始數(shù)據(jù)進(jìn)行規(guī)范化處理，還要對(duì)隱含單元和各個(gè)單元輸入信息進(jìn)行求和;通過(guò)反向逆推之后得到本單元的輸入信息。所以對(duì)原始數(shù)據(jù)，隱含單元輸入模塊規(guī)范化細(xì)致化是非常重要的;(3)隱含單元的輸出值可以根據(jù)神經(jīng)網(wǎng)絡(luò)操作模型得出，只要我們把net信號(hào)經(jīng)過(guò)一次激發(fā)函數(shù)的處理，可以得到這個(gè)隱含單元的輸出值;(4)對(duì)于輸出單元節(jié)點(diǎn)，我們只要對(duì)前一層的隱含層單元輸入信息，并且加權(quán)求和后，就能得到該單元的輸入信息。操作起來(lái)非常方便快捷;(5)對(duì)權(quán)矩陣的調(diào)整，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)可以近似實(shí)現(xiàn)任意空間的數(shù)學(xué)映射。所以我們假設(shè)，如果神經(jīng)網(wǎng)絡(luò)輸入單元數(shù)為M，輸出單元為N，則在m維歐式空間尺中會(huì)有一個(gè)有界子集A，存在著一個(gè)到n維歐式空間，那么R中一個(gè)有界子集F(A)的映射。
3基于BP神經(jīng)網(wǎng)絡(luò)的工程造價(jià)估算模型
3．1定量化描述工程特征的因素
什么是工程特征，在BP神經(jīng)網(wǎng)絡(luò)中所說(shuō)工程特征，就是指不但能表示工程特點(diǎn)，而且還能反映工程的主要成本構(gòu)成的重要因素。，我們可以通過(guò)參照歷史工程資料的統(tǒng)計(jì)和分析，進(jìn)行工程特征的選取工作。選取完成之后，再根據(jù)專家的經(jīng)驗(yàn)來(lái)確定，這樣就可以萬(wàn)無(wú)一失了。首先我們可以通過(guò)典型住宅工程的造價(jià)組成進(jìn)行分析，然后對(duì)建筑結(jié)構(gòu)參數(shù)的變化和別的工程做一下對(duì)比，通過(guò)以上兩點(diǎn)得出的結(jié)果，分析這些因素對(duì)造價(jià)的影響，依照以上的理論方法，我們進(jìn)行了實(shí)踐性的研究，最終把礎(chǔ)類型，結(jié)構(gòu)形式，建筑層數(shù)，門窗類型，外墻裝飾還有墻體材料以及平面組合等，這7種因素作為工程的主要特征。不同的建筑工程有著不同的類型，比如說(shuō)結(jié)構(gòu)，可以是磚混結(jié)構(gòu)和框架結(jié)構(gòu)等;磚條基和鋼筋砼條基礎(chǔ)等都可以作為基礎(chǔ)特征，對(duì)于這樣的特征選取的多樣性我們稱之為特征類目，通過(guò)工程特征不同類目的列舉，再跟據(jù)定額水平，工程特征對(duì)造價(jià)影響的相關(guān)性，這些對(duì)平方米造價(jià)的改變，對(duì)工程定量化的描述可以主觀的給出對(duì)應(yīng)的量化數(shù)據(jù)。
3．2建立估價(jià)模型
工程造價(jià)估算的指標(biāo)體系到該項(xiàng)目的單位造價(jià)的非線性映射，就可以統(tǒng)稱為是建設(shè)項(xiàng)目工程造價(jià)的估算問(wèn)題。BP網(wǎng)絡(luò)可以根據(jù)人們的需求以任意的精度去逼近任意映射關(guān)系，究其原因就是上文說(shuō)的BP網(wǎng)絡(luò)采用的是三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不同于其他的電腦估算網(wǎng)絡(luò)。不僅是因?yàn)樵撃Ｐ偷妮斎雴卧獮?個(gè)，還有他們的項(xiàng)目樣本特征也不盡相同。神經(jīng)網(wǎng)絡(luò)可以根據(jù)已經(jīng)經(jīng)過(guò)我們優(yōu)選的模型特征，做為參考估算要素，然后再通過(guò)項(xiàng)目工程造價(jià)估算中，我們所提供的一定數(shù)量的已知樣本，采取對(duì)樣本的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，最后根據(jù)以往的大的數(shù)據(jù)庫(kù)，提取類似的項(xiàng)目估算值，然后才能對(duì)其它特征的項(xiàng)目進(jìn)行估算。這樣我們只需要輸入指標(biāo)體系的各指標(biāo)值，BP神經(jīng)網(wǎng)絡(luò)就可以在該項(xiàng)目的單位造價(jià)的非線性映射中給出該項(xiàng)目的單位造價(jià)。
3．3檢測(cè)結(jié)果的分析
上面我們通過(guò)大量的實(shí)際實(shí)驗(yàn)得知了這兩個(gè)固定不變的數(shù)字，然后我們可以用程序值被收斂后的網(wǎng)絡(luò)，對(duì)現(xiàn)在要進(jìn)行求解的數(shù)據(jù)進(jìn)行檢測(cè)，在測(cè)試后，如果發(fā)現(xiàn)總體誤差比率較小，那么就滿足我們初步設(shè)計(jì)的概算需求了，同時(shí)對(duì)工程可行性研究的投資估算需求也已經(jīng)基本符合了，這些結(jié)果能有好的保證，全是依賴我們所選擇的模型的寬度夠用，模型在所有的因素中具有廣泛的代表性。所以估價(jià)模型的計(jì)算才較為成功。幾個(gè)工程估算的好壞也不能代表所有的項(xiàng)目都是完美的，也有個(gè)別工程造價(jià)估算誤差大，因?yàn)殡娔X畢竟是人在給其輸入程序，電腦的經(jīng)驗(yàn)，還有就是對(duì)一些特征的學(xué)習(xí)不夠用，本身的知識(shí)儲(chǔ)備還是有局限性的。因?yàn)閷?duì)樣本數(shù)量的學(xué)習(xí)始終是有限，不可能面面俱到，而且挑選的樣本也不可能針對(duì)這個(gè)工程而言都是符合這個(gè)項(xiàng)目的特性。雖然說(shuō)BP神經(jīng)網(wǎng)絡(luò)模型有這樣無(wú)法控制的缺點(diǎn)，但是和其他的造價(jià)估算模型相比，BP神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)還是可圈可點(diǎn)的，其優(yōu)點(diǎn)和其他的造價(jià)模型相比較優(yōu)點(diǎn)還是非常明顯的。在以后的估算中，隨著樣本的不斷充實(shí)，數(shù)據(jù)的不斷積累，經(jīng)驗(yàn)的不但豐富，其估算的誤差也將不斷縮小，這些方面的補(bǔ)充，在以后的估算中，必定會(huì)取得非常完美的成績(jī)。
4總結(jié)
關(guān)鍵詞BP神經(jīng)網(wǎng)絡(luò)；汽車故障率；神經(jīng)元；梯度下降
中圖分類號(hào)U2 文獻(xiàn)標(biāo)識(shí)碼A 文章編號(hào)2095―6363（2017）03―0063―02
隨著互聯(lián)網(wǎng)、數(shù)據(jù)庫(kù)、云計(jì)算、移動(dòng)通信技術(shù)的快速發(fā)展和進(jìn)步，促進(jìn)了其在多領(lǐng)域得到廣泛普及，開(kāi)發(fā)電子政務(wù)、電子商務(wù)、在線學(xué)習(xí)、物流倉(cāng)儲(chǔ)、智能家居、金融證券等領(lǐng)域得到廣泛普及和使用，已經(jīng)積累了海量的應(yīng)用數(shù)據(jù)資源，并且持續(xù)呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)。汽車是信息化普及和使用的一個(gè)重要方向，汽車生產(chǎn)制造、保養(yǎng)修復(fù)、運(yùn)行監(jiān)控等都開(kāi)發(fā)了先進(jìn)的智能管理系統(tǒng)，這些系統(tǒng)運(yùn)行也積累了海量數(shù)據(jù)，可以采用分類算法挖掘潛在有價(jià)值信息，形成一個(gè)個(gè)的數(shù)據(jù)類別，這些數(shù)據(jù)類別內(nèi)部具有高度相似性，類別之間高度相異，因此就可以根據(jù)用戶輸入的信息主體劃分?jǐn)?shù)據(jù)資源，提供一個(gè)合理的知識(shí)解釋和決策信息。
1 BP神經(jīng)網(wǎng)絡(luò)理論
目前，汽車故障數(shù)據(jù)分析主要包括2個(gè)類別，一是有監(jiān)督學(xué)習(xí)方法，比如BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯理論；一種是無(wú)監(jiān)督學(xué)習(xí)方法，比如譜聚類、密度聚類、K均值、信息等方法。有監(jiān)督大數(shù)據(jù)分析方法需要利用人們的經(jīng)驗(yàn)，預(yù)先構(gòu)建一個(gè)分析模型，然后盡可能提高這個(gè)學(xué)習(xí)模型的準(zhǔn)確性，從而保證類別分析的精確度；無(wú)監(jiān)督學(xué)習(xí)方法卻不需要任何先驗(yàn)知識(shí)，系統(tǒng)自動(dòng)的將數(shù)據(jù)按照不同的關(guān)注角度進(jìn)行分類。
BP神經(jīng)網(wǎng)絡(luò)能夠按照統(tǒng)計(jì)學(xué)規(guī)則，實(shí)現(xiàn)誤差逆?zhèn)鞑ィ且环N多層次的前饋神經(jīng)網(wǎng)絡(luò)，目前已經(jīng)在多個(gè)機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域得到廣泛普及。BP神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)和存儲(chǔ)海量的數(shù)據(jù)信息，并且經(jīng)過(guò)自學(xué)習(xí)形成一個(gè)強(qiáng)大的支持網(wǎng)絡(luò)結(jié)構(gòu)，并且利用當(dāng)前最為流行的梯度下降方法，不斷調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)、權(quán)值和閾值，降低網(wǎng)絡(luò)的誤差平方和，準(zhǔn)確提取相關(guān)的數(shù)據(jù)隱含模式信息。汽車運(yùn)行數(shù)據(jù)處理過(guò)程中，輸入層可以接收所有數(shù)據(jù)，并且將這些數(shù)據(jù)傳輸給中間層的神經(jīng)元，神經(jīng)元可以負(fù)責(zé)數(shù)據(jù)信息處理、變換，并且能夠根據(jù)信息變化能力的需求，改變和整合中間層結(jié)構(gòu)汽車運(yùn)行數(shù)據(jù)流經(jīng)過(guò)識(shí)別和處理之后，就可以從中間層分發(fā)到輸出層，這樣就可以完成一次學(xué)習(xí)過(guò)程，將BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練成為一個(gè)準(zhǔn)確度非常高的模型，還可以通過(guò)誤差梯度下降等修正各個(gè)層次的權(quán)值，向隱藏層逐級(jí)反饋，實(shí)現(xiàn)反向傳播和修正，提高汽車運(yùn)行數(shù)據(jù)識(shí)別精確度。
2汽車故障率預(yù)測(cè)模型設(shè)計(jì)
汽車故障是指企業(yè)部分組件或全部組件喪失工作能力，也即是零部件機(jī)器相互配合的狀態(tài)發(fā)生了異常變化，汽車故障廣泛地發(fā)生于生產(chǎn)制造、運(yùn)行使用、修理維護(hù)等全過(guò)程，因此每一個(gè)環(huán)節(jié)都需要非常小心和注意，尤其是在汽車使用故障發(fā)生時(shí)，一定要及時(shí)發(fā)現(xiàn)故障類型，及時(shí)排除故障內(nèi)容，才能夠保證汽車使用中盡量降低事故發(fā)生率。目前，汽車故障形成具有很多原因，具體原因如下所述。
1）汽車組成部件自身質(zhì)量差異。汽車及其自身組件由于生產(chǎn)廠家、生產(chǎn)批次均不同，因此不可避免的存在許多質(zhì)量差異，原廠配件在使用過(guò)程中將會(huì)出現(xiàn)很多問(wèn)題，協(xié)作廠和不合格的配件裝配到汽車上之后將會(huì)出現(xiàn)很多問(wèn)題，對(duì)于不同批次、規(guī)格相同的部件來(lái)講，可以將其劃分為好中差3個(gè)層次，權(quán)值因子設(shè)置為0.95、0.8和0.6。
2）汽車消耗品質(zhì)量差異。汽車運(yùn)行中，消耗品包括燃油、油等，這些消耗品的自身質(zhì)量將會(huì)影響汽車運(yùn)行性能和使用壽命，非常容易的導(dǎo)致企業(yè)發(fā)生故障。目前汽車常用的燃油包括90#、95#和97#。
3）汽車使用環(huán)境影響。汽車使用環(huán)境復(fù)雜，路面易發(fā)生各類型事故，同時(shí)山區(qū)、城市、丘陵等地帶由于地勢(shì)不同，耗費(fèi)的動(dòng)力也是不同，汽車使用環(huán)境復(fù)雜多變，容易誘發(fā)汽車故障，將使用環(huán)境劃分為3個(gè)方面，分別是好良中，權(quán)值因子設(shè)置為I/0.8和0.5。
4）汽車故障診斷和維修的影響。汽車運(yùn)行中，需要定期對(duì)其進(jìn)行保養(yǎng)，以便能夠準(zhǔn)確診斷故障，才能夠?qū)⑦@些內(nèi)容修復(fù)完畢。汽車運(yùn)行維護(hù)、故障診斷、維修服務(wù)中需要較高的技術(shù)，因此為了提高這些技術(shù)產(chǎn)品的應(yīng)用性，可以將汽車定期維護(hù)程度劃分為多個(gè)時(shí)間長(zhǎng)短的內(nèi)容，分別是0-3/4-6/7-9三個(gè)階段。
5）汽車的自然損耗。汽車各個(gè)組件會(huì)隨著運(yùn)行公里的增加逐漸衰弱，汽車自燃損耗越多，產(chǎn)生故障的概率就越大，因此汽車的自然損耗也是一個(gè)關(guān)鍵因素。
基于BP神經(jīng)網(wǎng)絡(luò)的汽車故障率預(yù)測(cè)模式可以利用管理系統(tǒng)、傳感器等采集上述5個(gè)方面的數(shù)據(jù)信息，將這些信息輸入到BP網(wǎng)絡(luò)的輸入層，輸入層接收道數(shù)據(jù)之后，將其按照權(quán)值因子進(jìn)行整合，輸入到隱藏層網(wǎng)絡(luò)，隱藏藏網(wǎng)絡(luò)利用梯度下降、多層反饋等關(guān)鍵技術(shù)，對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，通過(guò)對(duì)此類標(biāo)簽對(duì)比，不斷擬合調(diào)整網(wǎng)絡(luò)權(quán)值，形成一個(gè)強(qiáng)大的故障率預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，這樣就可以準(zhǔn)確預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，將其輸出到顯示器上，具體的BP神經(jīng)網(wǎng)絡(luò)運(yùn)行如圖1所示。
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN），是基于人類大腦的生物活動(dòng)所提出的，是一個(gè)數(shù)學(xué)模型。它由眾多節(jié)點(diǎn)通過(guò)一定的方式互聯(lián)組成，是一個(gè)規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來(lái)講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實(shí)際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對(duì)ANN的應(yīng)用和發(fā)展起到了決定性的作用。
BP算法是使用從輸出層得到的誤差來(lái)估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會(huì)獲得其他所有各層的估算誤差。這樣就實(shí)現(xiàn)了將從輸出層的得到誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程[1]。但是，BP算法也存在著不可忽視的缺陷?；诖?，該文總結(jié)介紹了BP的改進(jìn)方法。
2 BP算法的基本思想
2.1 BP算法的基本原理
BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過(guò)程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號(hào)正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過(guò)輸出層輸出，中間層對(duì)樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2]；接下來(lái)就是反向傳遞，算法得到的實(shí)際輸出值與期望目標(biāo)輸出之間必然會(huì)有誤差，根據(jù)誤差的大小來(lái)決定下一步的工作。如果誤差值較小滿足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿足要求，停止訓(xùn)練；反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對(duì)權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿足精度要求停止訓(xùn)練[3]。
3 BP算法的缺陷
盡管BP算法有著顯著的優(yōu)點(diǎn)，但是在實(shí)際應(yīng)用過(guò)程中，BP算法會(huì)出現(xiàn)很多問(wèn)題。尤其是下面的問(wèn)題，對(duì)BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。
3.1 收斂速度的問(wèn)題
BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時(shí)，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時(shí)，BP算法就會(huì)出現(xiàn)一個(gè)長(zhǎng)時(shí)間的誤差“平原”，算法的收斂速度會(huì)下降到極慢[4]。如果盲目的加快收斂速度，則會(huì)使算法產(chǎn)生震蕩現(xiàn)象。
3.2 局部極小點(diǎn)問(wèn)題
在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過(guò)程中會(huì)陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點(diǎn)，一旦陷入，BP算法就很難逃脫，進(jìn)而會(huì)使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個(gè)收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會(huì)使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。
3.3 網(wǎng)絡(luò)癱瘓問(wèn)題
在算法的學(xué)習(xí)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的權(quán)值會(huì)變得很大，從而使得節(jié)點(diǎn)的輸入變大，這就會(huì)導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點(diǎn)取得的值很小，接著會(huì)導(dǎo)致算法的訓(xùn)練速度變得極低，最終會(huì)導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。
3.4 步長(zhǎng)問(wèn)題
BP的收斂是建立在無(wú)窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間是無(wú)窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因?yàn)?，如果步長(zhǎng)太小，那么網(wǎng)絡(luò)的收斂速度就會(huì)下降，如果步長(zhǎng)太大，就會(huì)使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過(guò)研究提出一個(gè)較好的方法，就是用自適應(yīng)的步長(zhǎng)代替原來(lái)的定值步長(zhǎng)，以使權(quán)值修改量隨著B(niǎo)P網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。
4 改進(jìn)BP算法的方法
BP算法應(yīng)用廣泛，但它又存在很多缺陷，針對(duì)BP算法的問(wèn)題，國(guó)內(nèi)外許多學(xué)者提出各種改進(jìn)方法，主要的改進(jìn)方法分為兩類：一是啟發(fā)式改進(jìn)，如附加動(dòng)量法和自適應(yīng)學(xué)習(xí)率等；二是結(jié)合新理論的改進(jìn)。這些方法在不同程度上提高了網(wǎng)絡(luò)的收斂速度，避免了局部最小問(wèn)題。
4.1 啟發(fā)式改進(jìn)方法
啟發(fā)式改進(jìn)方法是建立在BP網(wǎng)絡(luò)梯度下降規(guī)則的基礎(chǔ)上，通過(guò)對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和學(xué)習(xí)率的改進(jìn)，從而解決BP網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過(guò)程中遇到的問(wèn)題。它的核心思想是：使權(quán)重的調(diào)整量最大限度的適應(yīng)誤差下降的要求。該文主要介紹了附加動(dòng)量法。
傳統(tǒng)的BP算法實(shí)際上是運(yùn)用最速下降規(guī)則來(lái)搜索最優(yōu)點(diǎn)的算法，該規(guī)則是順著梯度的反方向進(jìn)行權(quán)值的修正，并不將前一階段積累的經(jīng)驗(yàn)考慮進(jìn)來(lái)。因此會(huì)在訓(xùn)練過(guò)程中發(fā)生震蕩，導(dǎo)致收斂速度緩慢。但是將動(dòng)量項(xiàng)引入到BP網(wǎng)絡(luò)中后，當(dāng)輸入樣本依照順序輸入時(shí)，則可以將權(quán)值的修正公式看作為以t為變量的時(shí)間序列，那么權(quán)值的修改公式就改變?yōu)槿缦滤荆?/p>
加入動(dòng)量項(xiàng)以后若本次。
4.2 BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化
在BP算法中，輸入和輸出節(jié)點(diǎn)的個(gè)數(shù)由實(shí)際問(wèn)題確定，網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化主要是針對(duì)隱藏層的節(jié)點(diǎn)數(shù)和層數(shù)。許多研究表明，一個(gè)隱藏層就可以解決各種分類問(wèn)題。那么對(duì)于隱藏層節(jié)點(diǎn)的個(gè)數(shù)的確定，有的學(xué)者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節(jié)點(diǎn)數(shù)，[NI]表示輸入層節(jié)點(diǎn)數(shù)，[NO]表示輸出層節(jié)點(diǎn)數(shù)），但是公式缺乏一定的理論支持，所以目前最好的方法是通過(guò)經(jīng)驗(yàn)和在學(xué)習(xí)訓(xùn)練過(guò)程中不斷的調(diào)整隱藏層節(jié)點(diǎn)數(shù)，最后得到一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)。
4.3 基于新理論的算法改進(jìn)
隨著對(duì)BP網(wǎng)絡(luò)結(jié)構(gòu)知識(shí)的研究，能夠更加深刻的理解BP算法誤差傳遞的本質(zhì)。出現(xiàn)了許多基于新興理論的BP算法的改進(jìn)，這種改進(jìn)方式是結(jié)合了其它領(lǐng)域比較成功的優(yōu)化算法和理論，比如將遺傳算法與BP算法相結(jié)合，將遺傳算法高效的全局尋優(yōu)能力引入進(jìn)來(lái)，利用GA算法來(lái)優(yōu)化BP算法的權(quán)值和閾值，解決BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部極值和收斂速度慢的問(wèn)題，兩種算法的結(jié)合實(shí)現(xiàn)了各自優(yōu)勢(shì)的互補(bǔ)，取得了良好的效果[8]；將粒子群優(yōu)化算法用于BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，使算法更容易找到全局最優(yōu)解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數(shù)學(xué)理論、小波理論、混沌算法等相結(jié)合。這些改進(jìn)使得BP神經(jīng)網(wǎng)絡(luò)得到更進(jìn)一步的應(yīng)用。
5 小結(jié)
BP算法是目前在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中得到最廣泛應(yīng)用的。該文總結(jié)了BP算法的原理，針對(duì)BP算法中出現(xiàn)的問(wèn)題，雖然給出了BP算法的改進(jìn)方法，但還是有很多不足之處。隨著科學(xué)日新月異的發(fā)展，各種新的優(yōu)化算法 不斷的提出，BP算法也會(huì)得到更廣泛的發(fā)展。
參考文獻(xiàn)：
[1] 胡彩萍.基于BP神經(jīng)網(wǎng)絡(luò)的排序評(píng)價(jià)算法研究及應(yīng)用[D].南昌：江西師范大學(xué)碩士學(xué)位論文，2009.
[2] 劉翔.BP算法的改進(jìn)及其應(yīng)用[D].太原：太原理工大學(xué)碩士學(xué)位論文，2012.
[3] 張璐璐.基于遺傳神經(jīng)網(wǎng)絡(luò)的人民幣識(shí)別方法研究[D].長(zhǎng)春：吉林大學(xué)碩士學(xué)位論文，2009.
[4] 張波.DRP決策支持系統(tǒng)及小波網(wǎng)絡(luò)在其中的應(yīng)用[D].成都：四川大學(xué)碩士學(xué)位論文，2006.
[5]付海兵，曾黃麟.BP神經(jīng)網(wǎng)絡(luò)的算法及改進(jìn)[J].中國(guó)西部科技，2012，11（8）：1671-6396.
[6] 周羽.紅外圖像人臉識(shí)別研究[D].大連：大連理工大學(xué)碩士學(xué)位論文，2007.
關(guān)鍵詞：圖像標(biāo)注；BP神經(jīng)網(wǎng)絡(luò)；Normalized Cuts；圖像低層特征
中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2011)14-3399-02
Image Semantic Annotation Based on BP Neural Network Algorithm
WU Yu-hua
(Department of information Technology, Hengyang Technician College, Hengyang 421008, China)
Abstract: Because of the "Semantic gab" problem in the traditional CBIR(content-based image retrieval ) systems, they are not fit in some special areas. The appearance of Image-Semantic-Annotation can effectively resolve this problem. This paper represents a method that first uses the Normalized Cuts to cut the image into several areas and then extract the low-level features, last use BP neural network algorithm to learn the relations between the areas and the annotation words. The experiment's results proved this method is valid and efficient.
Key words: image annotation; BP neural network; normalized cuts; low-level feature
基于內(nèi)容的圖像檢索近10年來(lái)得到了研究者的關(guān)注,一系列的基于內(nèi)容的圖像檢索方法和檢索系統(tǒng)被提出來(lái)。然而由于計(jì)算機(jī)對(duì)圖像信息的理解和人對(duì)圖像信息的理解存在著客觀區(qū)別, 檢索系統(tǒng)中就難免存在計(jì)算機(jī)認(rèn)為的“視覺(jué)相似”和人們所理解的“語(yǔ)義相似”之間的“語(yǔ)義鴻溝( Semantic gap )”。如何解決“語(yǔ)義鴻溝”問(wèn)題是目前CBIR系統(tǒng)亟待解決的技術(shù)難題。圖像標(biāo)注這個(gè)直觀的想法能有效地彌補(bǔ)語(yǔ)義的缺失,它可以利用已標(biāo)注的圖像集自動(dòng)學(xué)習(xí)語(yǔ)義概念空間與視覺(jué)特征空間的關(guān)系模型,并用此模型標(biāo)注未知語(yǔ)義的圖像,即它試圖在高層語(yǔ)義特征和底層視覺(jué)特征之間建立一座橋梁。因此,它可以一定程度解決大多基于內(nèi)容圖像檢索方法存在的語(yǔ)義鴻溝問(wèn)題。如果能實(shí)現(xiàn)自動(dòng)圖像標(biāo)注,那么現(xiàn)有的圖像檢索問(wèn)題實(shí)際上就可以轉(zhuǎn)化成技術(shù)已經(jīng)相當(dāng)成熟的文本檢索問(wèn)題。它的潛在應(yīng)用領(lǐng)域包括生物醫(yī)學(xué)、商業(yè)、軍事、教育、數(shù)字圖書(shū)館和互聯(lián)網(wǎng)檢索等。
1 相關(guān)研究工作
圖像自動(dòng)標(biāo)注技術(shù)可以利用已標(biāo)注的圖像集自動(dòng)學(xué)習(xí)語(yǔ)義概念空間與視覺(jué)特征空間的關(guān)系模型,并用此模型標(biāo)注未知語(yǔ)義的圖像,即它試圖在高層語(yǔ)義特征和底層視覺(jué)特征之間建立一座橋梁。近年來(lái)圖像自動(dòng)標(biāo)注技術(shù)正成為國(guó)際上圖像檢索領(lǐng)域的一個(gè)研究熱點(diǎn)。許多機(jī)器學(xué)習(xí)方法由于能很好地獲取圖像特征和文本描述之間的對(duì)應(yīng)關(guān)系,因而被引入這一領(lǐng)域，并且已經(jīng)出了一些成果，例如同現(xiàn)模型(Co-occurrence Model)[1],基于機(jī)器翻譯的對(duì)象識(shí)別模型[2]，跨媒體相關(guān)模型(Cross-Media Relevance, CMR)[3]等等。
本文中我們提出了先使用Normalized Cuts[4]方法對(duì)圖像進(jìn)行分割并提取出每個(gè)區(qū)域的低層特征，再利用BP神經(jīng)網(wǎng)絡(luò)算法來(lái)學(xué)習(xí)圖像區(qū)域特征和標(biāo)注字的對(duì)應(yīng)關(guān)系模型并用此模型來(lái)對(duì)未知語(yǔ)義圖像進(jìn)行自動(dòng)標(biāo)注的方法，實(shí)驗(yàn)證明該方法能夠取得很好的效果。
2 Normalized Cuts及圖像區(qū)域特征選擇
因?yàn)镹ormalized Cuts在圖像分割這塊有強(qiáng)的優(yōu)勢(shì)，所以本文中我們選擇其作為圖像的分割方法。先對(duì)圖像進(jìn)行Normalized Cuts區(qū)域分割，然后提取圖像的各個(gè)區(qū)域特征，在這里我們采用的圖像低層視覺(jué)特征是顏色、紋理特征的結(jié)合。
2.1 Normalized Cuts區(qū)域分割
我們使用Timothee Cour等人開(kāi)發(fā)的Multiscale Normalized Cuts Segmentation Toolbox對(duì)每個(gè)圖像（160*160）進(jìn)行區(qū)域分割（nsegs = 8），分割的效果如圖1所示。
2.2 低層特征提取
由于圖像的顏色分布信息主要集中在低階矩中，因此我們采用顏色的一階矩、二階矩和三階矩來(lái)表示圖像的顏色分布。一階中心矩、二階中心矩和三階中心矩分別表示圖像或子區(qū)域圖像的平均顏色、標(biāo)準(zhǔn)方差和三次根非對(duì)稱性，公式分別為以下式1、2和3：
(1)
(2)
(3)
對(duì)于每幅圖像每一個(gè)分割區(qū)域我們可以得到3個(gè)顏色分布特征。
我們采用的紋理特征是Gabor紋理特征（Gabor濾波變換后求取圖像區(qū)域的均值和方差）。Gabor濾波后的部份圖像效果圖如圖2所示。
我們對(duì)每幅圖像從4個(gè)尺度(0,1,2,3)和8個(gè)角度（0℃，45℃，90℃,135℃,180℃,225℃,270℃,315℃）組合進(jìn)行濾波后再提取每個(gè)區(qū)域的均值和方差作為紋理特征,這樣每個(gè)區(qū)域就可得到32個(gè)紋理特征。
通過(guò)上面的低層特征提取，每幅圖像的每個(gè)區(qū)域我們可以得到共有35個(gè)低層特征，即顏色特征3個(gè)，紋理特征32個(gè)。
3 BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)
3.1 BP神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)
圖3為BP網(wǎng)絡(luò)結(jié)構(gòu)圖。
3.2 BP學(xué)習(xí)算法[5]
BP(Back Propagation)算法為誤差反向傳播算法，主要分為兩個(gè)階段：一個(gè)前向傳播階段（計(jì)算誤差），另一個(gè)誤差反向傳播階段（修改權(quán)值）。
BP具體算法：
①創(chuàng)建nin個(gè)輸入單元，nhidden個(gè)隱藏單元，nout個(gè)輸出單元的網(wǎng)絡(luò)；
② 初始化所有的網(wǎng)絡(luò)權(quán)值為小的隨機(jī)值（-0.05~0.05）；
③ 在遇到終止條件前（達(dá)到迭代次數(shù)或者訓(xùn)練精度），對(duì)于每個(gè)訓(xùn)練樣例做以下計(jì)算：
1）輸入沿網(wǎng)絡(luò)前向傳播：把實(shí)例輸入網(wǎng)絡(luò),并計(jì)算網(wǎng)絡(luò)中每個(gè)單元u的輸出ou。
2）誤差沿網(wǎng)絡(luò)反向傳播：
對(duì)于網(wǎng)絡(luò)的每個(gè)輸出單元k,計(jì)算它的誤差項(xiàng)dk， ；
對(duì)于網(wǎng)絡(luò)的每個(gè)隱藏單元h,計(jì)算它的誤差項(xiàng)δh: 。
3）更新每個(gè)網(wǎng)絡(luò)權(quán)值wji，
3.3 圖像標(biāo)注基本原理
圖像標(biāo)注基本原理如圖4所示，主要分為兩個(gè)階段：模型訓(xùn)練階段和標(biāo)注階段，我們采用BP神經(jīng)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)圖像區(qū)域特征和標(biāo)注字之間的對(duì)應(yīng)關(guān)系。
訓(xùn)練階段主要是對(duì)已標(biāo)注的圖像集進(jìn)行處理，包括：1、圖像的區(qū)域分割，2、區(qū)域特征的提取，3、區(qū)域?qū)?yīng)的標(biāo)注字的提?。ㄒ布磳?duì)應(yīng)的標(biāo)記，例如在程序中，我們使用1代表森林，2代表草地，3代表動(dòng)物，4代表天空等），4、BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練幾個(gè)步驟，訓(xùn)練后得到的權(quán)值，我們保存在weight.txt文件中。
標(biāo)注階段是對(duì)待標(biāo)注的圖像集進(jìn)行處理，包括：1、圖像的區(qū)域分割，2、區(qū)域特征的提取，3、從weight.txt文件中讀取各層的權(quán)值到BP模型中，使用訓(xùn)練好的BP模型來(lái)對(duì)待標(biāo)注的圖像進(jìn)行標(biāo)注。
4 實(shí)驗(yàn)結(jié)果
我們使用的實(shí)驗(yàn)數(shù)據(jù)為微軟亞洲研究院視覺(jué)計(jì)算組的圖像集。我們從中挑選了300幅包含動(dòng)物、草地、森林和天空等對(duì)象的圖像作為訓(xùn)練集，先使用NormalizedCuts方法進(jìn)行區(qū)域分割，得到8個(gè)區(qū)域并抽取其36維特征向量，在程序中我們采用三層BP模型，36個(gè)輸入單元（對(duì)應(yīng)36個(gè)低層特征），15個(gè)隱藏單元和4個(gè)輸出單元（對(duì)應(yīng)4個(gè)對(duì)象，動(dòng)物、草地、森林和天空），學(xué)習(xí)因子為0.3，訓(xùn)練后得到權(quán)值保存在weight.txt文件中。另外我們選取了50幅圖像作為測(cè)試集，在PIV 2.0G 256M 硬件環(huán)境和XP系統(tǒng)，vs2005 + OpenCV_1.0的軟件環(huán)境下進(jìn)行實(shí)驗(yàn)，使用本文提出的方法來(lái)進(jìn)行圖像語(yǔ)義的標(biāo)注，準(zhǔn)確率達(dá)到78.23%，初期實(shí)驗(yàn)結(jié)果樣例如圖5所示。
5 結(jié)束語(yǔ)
使用BP神經(jīng)網(wǎng)絡(luò)算法能夠很好學(xué)習(xí)區(qū)域特征和標(biāo)注字的對(duì)應(yīng)關(guān)系，因此圖像的區(qū)域分割和低層視覺(jué)特征選擇很重要，搞好了就能很好地進(jìn)行圖像語(yǔ)義自動(dòng)標(biāo)注，對(duì)稍微簡(jiǎn)單點(diǎn)的圖像標(biāo)注準(zhǔn)確率比較高，對(duì)復(fù)雜圖像的標(biāo)注準(zhǔn)確率下降很多，也就是BP神經(jīng)網(wǎng)絡(luò)存在無(wú)法學(xué)習(xí)圖像的上下文信息的缺點(diǎn)。因此如果能夠融合圖像的上下文信息的話，標(biāo)注的效果會(huì)更好。而CRF（條件概率隨機(jī)場(chǎng)）[6]在融合上下文信息這方面功能很強(qiáng)大，因此，未來(lái)的工作重點(diǎn)主是結(jié)合BP和CRF對(duì)圖像進(jìn)行語(yǔ)義的自動(dòng)標(biāo)注。
參考文獻(xiàn)：
[1] Mori Y, Takahashi H, Oka R.Image-to-word transformation based on dividing and vector quantizing images with words[J].In Proc. of MISRM,1999.
[2] Duygulu P, Barnard K, de Freitas J F G, et al, Object Recognition as Machine Translation: Learning a Lexicon for a Fixed Image Vocabulary[J].Proceedings of the 7th European Conference on Computer Vision-Part IV,2002:97-112.
[3] Jeon J, Lavrenko V , Manmatha R. Automatic image annotation and retrieval using cross - media relevance models[C].New York: ACM Press, 2003:119 - 126.
[4] Shi J, Malik J.Normalized cuts and image segmentation[J].In Proc. IEEE Conf. Computer Vision and Pattern Recognition,731-737,1997.
關(guān)鍵詞： 電網(wǎng)負(fù)荷預(yù)測(cè)； BP神經(jīng)網(wǎng)絡(luò)； 模擬退火優(yōu)化算法； 預(yù)測(cè)誤差
中圖分類號(hào)： TN926?34； TM715 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）20?0064?03
Abstract： Since the forecasting accuracy of the traditional linear load forecasting method cannot meet the requirements of the modern power grid management system， the nonlinear BP neural network algorithm suitable for the power grid load prediction task is used in this paper to build forecasting model. Because the conventional BP neural network is easy to fall into the local optimal solution and has low convergence efficiency， simulated annealing algorithm is used in this paper to optimize the BP neural network weight training algorithm to improve the convergence efficiency and self?learning ability of the prediction model. The prediction model studied in this paper is analyzed with an example. The results show that the training times and training time of the improved BP neural network are less than those of the conventional neural network， and it has higher convergence accuracy， in addition， the prediction error of the improved BP neural network prediction model is obviously reduced.
Keywords： power grid load forecasting； BP neural network； simulated annealing optimization algorithm； prediction error
0 引 言
對(duì)電網(wǎng)負(fù)荷進(jìn)行預(yù)測(cè)對(duì)于確保電力系統(tǒng)正常穩(wěn)定運(yùn)行具有重要意義，對(duì)電網(wǎng)的短期負(fù)荷進(jìn)行精確預(yù)測(cè)能夠降低電力電網(wǎng)系統(tǒng)的運(yùn)行和維護(hù)成本，負(fù)荷預(yù)測(cè)系統(tǒng)已經(jīng)成為電力電網(wǎng)管理系統(tǒng)中的重要組成部分之一，同時(shí)也是電力科研工作者的主要研究重點(diǎn)內(nèi)容之一[1?5]。
傳統(tǒng)的電網(wǎng)負(fù)荷預(yù)測(cè)方法主要是基于線性的時(shí)間序列分析法、回歸分析模型等，然而實(shí)際的電力負(fù)荷模型是非線性的，電網(wǎng)的負(fù)荷會(huì)受到溫度、濕度等各種影響因素干擾，使得傳統(tǒng)線性預(yù)測(cè)模型的預(yù)測(cè)精度無(wú)法滿足現(xiàn)代電力電網(wǎng)管理系統(tǒng)的精度要求[6?7]。
BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是一種非線性的預(yù)測(cè)模型，其具有自學(xué)習(xí)能力、預(yù)測(cè)精度較高以及強(qiáng)大的非線性函數(shù)關(guān)系擬合能力等優(yōu)點(diǎn)，特別適用于電力電網(wǎng)負(fù)荷的預(yù)測(cè)任務(wù)，但是常規(guī)的BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部最優(yōu)解以及收斂效率低等問(wèn)題[8?9]。因此本文使用模擬退火算法對(duì)BP神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練算法進(jìn)行優(yōu)化，提高預(yù)測(cè)模型的收斂效率和自學(xué)習(xí)能力。
1 改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型
常規(guī)的BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部最優(yōu)解以及收斂效率低等問(wèn)題，因此本文使用模擬退火算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)的訓(xùn)練進(jìn)行優(yōu)化。模擬退火算法模擬金屬材料退火過(guò)程，在固定時(shí)段內(nèi)以一定的概率算法求解較大搜索空間內(nèi)的全局最優(yōu)解[10]。
使用模擬退火算法對(duì)BP神經(jīng)網(wǎng)絡(luò)優(yōu)化過(guò)程為[12]：
步驟1：對(duì)參數(shù)進(jìn)行初始化，初始生成一個(gè)較大的溫度[T0]，隨機(jī)生產(chǎn)BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值，并由初始權(quán)值組成初始的狀態(tài)解[ωij0]。
步驟2：根據(jù)隨機(jī)擾動(dòng)模型由第k步的解[ωijk]得到第k+1步的解[ωijk+1]。
步驟3：將新的狀態(tài)解[ωijk+1]賦值到BP神經(jīng)網(wǎng)絡(luò)模型中，使用訓(xùn)練數(shù)據(jù)對(duì)新生成的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用目標(biāo)優(yōu)化函數(shù)計(jì)算該BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值與期望值之差。
步驟4：判別系統(tǒng)能否接收新的狀態(tài)解[ωijk+1]。
步驟5：如果內(nèi)循環(huán)次數(shù)達(dá)到設(shè)定最大值，則進(jìn)入下一步，否則跳回步驟2。
步驟6：若滿足調(diào)節(jié)[Tk+1
步驟7：若SA算法完成對(duì)各個(gè)訓(xùn)練樣本的優(yōu)化任務(wù)后，并且溫度達(dá)到設(shè)置的終止溫度，則結(jié)束優(yōu)化過(guò)程，SA算法的最優(yōu)解則作為BP神經(jīng)網(wǎng)絡(luò)的最優(yōu)連接權(quán)值。
2 實(shí)例分析
通過(guò)實(shí)例對(duì)本文研究的改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)電網(wǎng)負(fù)荷預(yù)測(cè)模型進(jìn)行分析。調(diào)取了某市2009―2010年的電網(wǎng)負(fù)荷數(shù)據(jù)以及天氣數(shù)據(jù)等，并針對(duì)某一天的電網(wǎng)負(fù)荷進(jìn)行預(yù)測(cè)，與真實(shí)數(shù)據(jù)進(jìn)行對(duì)比[13]。
使用常規(guī)BP神經(jīng)網(wǎng)絡(luò)與改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，兩種模型的輸入神經(jīng)元個(gè)數(shù)均為65，輸出為24個(gè)，即對(duì)某一天24個(gè)小時(shí)負(fù)荷量的預(yù)測(cè)[14?15]。使用訓(xùn)練樣本對(duì)兩種預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到了訓(xùn)練結(jié)果性能如表1所示。
由表1可以看出，在精度要求一致時(shí)，本文研究的改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)和訓(xùn)練耗時(shí)均低于常規(guī)神經(jīng)網(wǎng)絡(luò)，說(shuō)明改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)具有更快的收斂效率，同時(shí)改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)的相對(duì)誤差平均值降低了2.44%，相對(duì)誤差最大值降低了4.22%，說(shuō)明改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)具有更高的收斂精度。
使用上述訓(xùn)練后得到的預(yù)測(cè)模型，對(duì)該市2009年10月13日的24 h電網(wǎng)負(fù)荷進(jìn)行預(yù)測(cè)，得到的預(yù)測(cè)結(jié)果如表2所示。
表2 電網(wǎng)負(fù)荷預(yù)測(cè)結(jié)果
通過(guò)計(jì)算可得常規(guī)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的預(yù)測(cè)均方誤差為3.29%，平均相對(duì)誤差為2.78%，使用改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的預(yù)測(cè)均方誤差為1.52%，平均相對(duì)誤差為1.18%，預(yù)測(cè)誤差明顯降低。兩種預(yù)測(cè)模型的預(yù)測(cè)值與真實(shí)值比較如圖1所示。由圖1可以看出使用改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度平均值達(dá)到了99.2%以上。
3 結(jié) 語(yǔ)
電網(wǎng)負(fù)荷預(yù)測(cè)對(duì)于確保電力系統(tǒng)正常穩(wěn)定運(yùn)行具有重要意義，是電力科研工作者的主要研究重點(diǎn)內(nèi)容之一。本文使用BP神經(jīng)網(wǎng)絡(luò)建立電網(wǎng)負(fù)荷預(yù)測(cè)模型，并使用模擬退火算法對(duì)BP神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練算法進(jìn)行優(yōu)化，提高預(yù)測(cè)模型的收斂效率和自學(xué)習(xí)能力。最后通過(guò)某市2009―2010年的電網(wǎng)負(fù)荷數(shù)據(jù)以及天氣數(shù)據(jù)等對(duì)本文研究的改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)電網(wǎng)負(fù)荷預(yù)測(cè)模型進(jìn)行分析，結(jié)果表明，本文研究的改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差明顯降低，具有較好的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 王大鵬.灰色預(yù)測(cè)模型及中長(zhǎng)期電力負(fù)荷預(yù)測(cè)應(yīng)用研究[D].武漢：華中科技大學(xué)，2013.
[2] 任麗娜.基于Elman神經(jīng)網(wǎng)絡(luò)的中期電力負(fù)荷預(yù)測(cè)模型研究[D].蘭州：蘭州理工大學(xué)，2007.
[3] 程其云.基于數(shù)據(jù)挖掘的電力短期負(fù)荷預(yù)測(cè)模型及方法的研究[D].重慶：重慶大學(xué)，2004.
[4] 張華.基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的微博輿情預(yù)測(cè)模型研究[D].武漢：華中師范大學(xué)，2014.
[5] 馬洪松.基于改進(jìn)灰色模型的電力負(fù)荷預(yù)測(cè)方法研究及應(yīng)用[D].北京：華北電力大學(xué)，2013.
[6] 朱曉明.BP?灰度模型的電力負(fù)荷預(yù)測(cè)模型研究[J].科技通報(bào)，2013（8）：50?52.
[7] 周建中，張亞超，李清清，等.基于動(dòng)態(tài)自適應(yīng)徑向基函數(shù)網(wǎng)絡(luò)的概率性短期負(fù)荷預(yù)測(cè)[J].電網(wǎng)技術(shù)，2010（3）：37?41.
[8] 陳偉淳.基于多神經(jīng)網(wǎng)絡(luò)的智能電網(wǎng)短期負(fù)荷預(yù)測(cè)研究[D].廣州：華南理工大學(xué)，2012.
[9] 熊偉.基于粒子群模糊徑向基網(wǎng)絡(luò)的電力系統(tǒng)短期負(fù)荷預(yù)測(cè)[D].長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2009.
[10] 尤麗華，吳靜靜，王瑤，等.基于模擬退火優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的pH值預(yù)測(cè)[J].傳感技術(shù)學(xué)報(bào)，2014（12）：1643?1648.
[11] 王惠琳.模擬退火遺傳算法優(yōu)化的BP網(wǎng)絡(luò)在翹曲量預(yù)測(cè)中的應(yīng)用[D].杭州：浙江大學(xué)，2011.
[12] 王惠琳，胡樹(shù)根，王耘.基于模擬退火遺傳算法優(yōu)化的BP網(wǎng)絡(luò)在質(zhì)量預(yù)測(cè)中的應(yīng)用[J].輕工機(jī)械，2011（4）：26?31.
[13] 師彪，李郁俠，于新花，等.改進(jìn)粒子群?BP神經(jīng)網(wǎng)絡(luò)模型的短期電力負(fù)荷預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用，2009（4）：1036?1039.
