開篇：寫作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇神經(jīng)網(wǎng)絡(luò)算法，希望這些內(nèi)容能成為您創(chuàng)作過程中的良師益友，陪伴您不斷探索和進(jìn)步。

第1篇

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計(jì)與生產(chǎn)進(jìn)入了納米時(shí)代，計(jì)算機(jī)的計(jì)算能力與計(jì)算速度得到了空前的提高，但是人們的需求是無限的，要求計(jì)算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計(jì)算機(jī)本身能像人一樣識別與感知周圍的環(huán)境，并對復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計(jì)算機(jī)能對為的環(huán)境做出識別與判斷也就要求計(jì)算機(jī)能夠智能的識別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域。通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取目標(biāo)特征進(jìn)而識別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在感知識別周圍環(huán)境的能力有了巨大的提升，使得計(jì)算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類識別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運(yùn)用。

1.1 國內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計(jì)信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計(jì)信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語音識別，自然語言處理等領(lǐng)域有廣泛的運(yùn)用。

2013年百度成立百度深度學(xué)習(xí)研究院以來我國的人工智能領(lǐng)域取得了長足的進(jìn)步。在人工智能專家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術(shù)，DuerOS語音交互計(jì)算平臺，人臉識別技術(shù)，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新方向，通過學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識別，語音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過特征表達(dá)和分類器來進(jìn)行目標(biāo)識別等任務(wù)的。并在語音識別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個(gè)隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實(shí)驗(yàn)對輸入信息進(jìn)行分級表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測試的復(fù)雜度大幅度降低，同時(shí)也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進(jìn)行卷積運(yùn)算，提取圖像特征，下采樣核則是對上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時(shí)的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運(yùn)算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經(jīng)網(wǎng)絡(luò)在對圖像進(jìn)行識別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識別圖像，但是在現(xiàn)實(shí)生活運(yùn)用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對圖像中目標(biāo)進(jìn)行識別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對物體探測中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計(jì)算機(jī)視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時(shí)一般采用經(jīng)過預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費(fèi)本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類器對特征向量進(jìn)行分類，在訓(xùn)練SVMs時(shí)將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測試時(shí)將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個(gè)候選區(qū)圖像進(jìn)行前向運(yùn)算，保存所有后選取圖片的特征值，要求計(jì)算硬件有大量的存儲空間，同時(shí)處理每一張圖片的時(shí)間也會增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計(jì)算的時(shí)間成本很大，達(dá)不到實(shí)時(shí)的計(jì)算效果，R-CNN在對候選區(qū)進(jìn)行處理時(shí)會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個(gè)輸出，引入了Rol層。

Fast-R-CNN在運(yùn)行的時(shí)候同樣會生成大量的候選區(qū)，同時(shí)將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個(gè)候選區(qū)生成一個(gè)固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計(jì)算K+1分類的損失，K為第K個(gè)目標(biāo)，1為背景；Regression LOSS計(jì)算候選區(qū)的四個(gè)角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計(jì)算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實(shí)驗(yàn)測試

對于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)平臺為基于Linux系統(tǒng)的debian8下運(yùn)行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實(shí)驗(yàn)。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實(shí)現(xiàn)的訓(xùn)練樣本為錄制實(shí)驗(yàn)室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓(xùn)練樣本，7.2萬張作為測試樣本。

6 總結(jié)

在目標(biāo)識別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對一張圖片需要進(jìn)行1000-2000次的卷積運(yùn)算，特征重復(fù)提取。因此在訓(xùn)練和前向測試時(shí)，R-CNN用的時(shí)間長，不能很好的適用于處理實(shí)時(shí)圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對每個(gè)候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測試時(shí)間的同時(shí)也需要耗費(fèi)大量內(nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展[J].中國圖象圖形學(xué)報(bào)，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運(yùn)用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第2篇

（①昆明理工大學(xué)國土資源與工程學(xué)院，昆明 650093；②黃河勘測規(guī)劃設(shè)計(jì)有限公司，鄭州 450003）

（①Faculty of Land Resource Engineering，Kunming University of science and Technology，Kunming 650093，China；

②The Yellow River Survey Planning and Design Co.，Ltd.，Zhengzhou 450003，China）

摘要： 隨著神經(jīng)網(wǎng)絡(luò)理論的深入研究，神經(jīng)網(wǎng)絡(luò)已在圖像的分類中起到非常重要的地位。本文章使用IDL語言來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)在權(quán)值調(diào)整過程算法優(yōu)化，并在ENVI上集成，已達(dá)到神經(jīng)網(wǎng)絡(luò)分類速度快，且精度可靠的目的。

Abstract： With the deep research in the theory of neural network, neural network has played a very important role in the classification of the image. This article uses the IDL language to implement the algorithm to optimize the weights of neural network to the adjustment process, and on the ENVI integration, has reached the neural network classification speed, precision and reliable.

關(guān)鍵詞 ： 神經(jīng)網(wǎng)絡(luò)；圖像分類；ENVI；IDL；集成；精度

Key words： neural network；image classification；ENVI；IDL；integration；precision

中圖分類號：P237 文獻(xiàn)標(biāo)識碼：A

文章編號：1006-4311（2015）06-0234-02

0 引言

ENVI是一套功能強(qiáng)大的遙感圖像處理軟件，在ENVI上進(jìn)行遙感圖像分類中有很多方法，如神經(jīng)網(wǎng)絡(luò)、最大似然、最小距離、 ISODATA算法、決策樹和面向?qū)ο蟮确诸惙椒ǎ窠?jīng)網(wǎng)絡(luò)在分類時(shí)比其它分類所花費(fèi)時(shí)間要長，且速度很慢，因?yàn)閺乃惴C(jī)理可知神經(jīng)網(wǎng)絡(luò)在權(quán)值調(diào)整時(shí)是迭代收斂的過程，其分類過程自然很慢。針對此問題，決定使用IDL語言來編程優(yōu)化算法。

1 IDL的語言環(huán)境

IDL（Interactive Data Language）是美國RSI公司推出的面向矩陣的第四代計(jì)算機(jī)語言，它語法簡單，自帶大量的功能函數(shù)，使用很少的代碼就能實(shí)現(xiàn)其它語言很難實(shí)現(xiàn)的功能。IDL是進(jìn)行數(shù)據(jù)分析、可視化及跨平臺應(yīng)用開發(fā)的最佳選擇，利用IDL可以快速地進(jìn)行科學(xué)數(shù)據(jù)讀寫、圖像處理、集成數(shù)學(xué)統(tǒng)計(jì)、信號分析、數(shù)值計(jì)算和三維圖像建模等。IDL集可視、交互分析、大型商業(yè)開發(fā)為一體，為您提供了最完善、最靈活最有效的開發(fā)環(huán)境。

IDL的開發(fā)應(yīng)用已經(jīng)深入到了人類日常生活的方方面面，給人類對未知領(lǐng)域的探索與發(fā)現(xiàn)提供了強(qiáng)有力的工具，推動了人類向前發(fā)展。對IDL的語言環(huán)境熟悉之后，緊接著就開始針對目前存在的基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類問題進(jìn)行改進(jìn)，并結(jié)合ENVI軟件，使用IDL語言設(shè)計(jì)出改進(jìn)后的優(yōu)化算法。

2 ENVI中基于神經(jīng)網(wǎng)絡(luò)分類的剖析

ENVI中采用的神經(jīng)網(wǎng)絡(luò)屬于BP網(wǎng)絡(luò)，含有輸入層、輸出層以及處于輸入輸出層之間的隱含層，如果進(jìn)行非線性分類，輸入的區(qū)域并非線性分類或需要兩個(gè)超平面才能區(qū)分類別時(shí)候，隱層數(shù)設(shè)置為大于或等于一。隱含層的狀態(tài)影響輸入與輸出之間的關(guān)系，改變隱含層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

ENVI中采用的BP神經(jīng)網(wǎng)絡(luò)通過誤差函數(shù)的最小化過程來完成輸入到輸出的映射。為了完成最小化過程，這種BP反向傳播算法分正向傳播和反向傳播兩步進(jìn)行。在正向傳播中，輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱含層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響；在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較,如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。在反向傳播過程中，反向傳播把誤差信號按原來正向傳播的通路反向傳回，反復(fù)修改（這是個(gè)迭代的過程）各節(jié)點(diǎn)的權(quán)重和閾值，逐漸減小誤差，直到達(dá)到預(yù)先設(shè)定的要求。當(dāng)誤差小于某一相當(dāng)小的正數(shù)或迭代誤差不再減少時(shí)，完成BP網(wǎng)絡(luò)的訓(xùn)練、輸入與輸出的映射的確定。

我們的落腳點(diǎn)是在BP網(wǎng)絡(luò)的反向傳播過程中網(wǎng)絡(luò)各節(jié)點(diǎn)權(quán)值的迭代調(diào)整，但是該網(wǎng)絡(luò)在此方面存在缺陷，就是迭代時(shí)間長，尤其對處理大數(shù)據(jù)，需要花費(fèi)很長時(shí)間才能達(dá)到收斂。針對BP網(wǎng)絡(luò)中學(xué)習(xí)算法收斂速度慢的缺點(diǎn)，運(yùn)用數(shù)學(xué)中埃特金加速收斂算法，對傳統(tǒng)的BP算法進(jìn)行改進(jìn)，然后使用IDL語言進(jìn)行匯編，最后在ENVI上進(jìn)行功能的擴(kuò)展，已達(dá)到適用的生產(chǎn)目的。

3 編寫迭代函數(shù)

為了能在ENVI菜單上調(diào)用埃特金迭代收斂函數(shù)，需要在ENVI菜單中創(chuàng)建一個(gè)新的菜單項(xiàng)，并定義一個(gè)此用戶函數(shù)。這個(gè)用戶函數(shù)可以通過在ENVI菜單中選擇這個(gè)新的菜單項(xiàng)來進(jìn)行調(diào)用。具體工程如下：

①在現(xiàn)有的ENVI菜單基礎(chǔ)上創(chuàng)建新的功能菜單，首先用文本編輯器打開envi.men文件，添加如下部分：

PRO MY_PROCESS_DEFINE_BUTTONS, buttonInfo

COMPILE_OPT IDL2

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘New Function’, $

/MENU, REF_VALUE = ‘Supervised’, REF_INDEX = 0, $

POSITION = ‘last’

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘Function1’, $

UVALUE = ‘Function 1’, EVENT_PRO = ‘my_process_event’, $

REF_VALUE = ‘New Function’

END

如果ENVI已經(jīng)打開，需要關(guān)閉并重新啟動ENVI,然后在ENVI主菜單上，會看到Classification菜單下的Supervised的子菜單內(nèi)增加了新的菜單“New Function”。

②編寫迭代函數(shù)。在運(yùn)行ENVI的IDL開發(fā)環(huán)境中，迭代功能函數(shù)的部分代碼如下：

ENVI_NEURAL_NET_DOIT

FUNCTION bm_func,X,[X0，X1……Xn]

nx=Xn,

t = FINDGEN(nx-X)

… … … … …

4 實(shí)驗(yàn)過程與精度評定

本實(shí)驗(yàn)主要運(yùn)用ENVI4.8版本圖像處理軟件進(jìn)行圖像分類，使用的數(shù)據(jù)是網(wǎng)上下載的經(jīng)過數(shù)據(jù)預(yù)處理后的Landsat5 TM研究區(qū)影像。調(diào)用迭代函數(shù)開始進(jìn)行基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類，其分類時(shí)間所反映的進(jìn)度條如圖1所示，以及最終的迭代均方根訓(xùn)練函數(shù)如圖2所示。

在神經(jīng)網(wǎng)絡(luò)分類結(jié)束后，所花費(fèi)時(shí)間很短，分類速度很快，具體的分類結(jié)果圖如圖3所示。對調(diào)用迭代函數(shù)的神經(jīng)網(wǎng)絡(luò)分類結(jié)果進(jìn)行精度分析，使用混淆矩陣，具體報(bào)表如圖4所示。從混淆矩陣報(bào)表可知，總體分類精度為94.2374%，其Kappa系數(shù)為0.9272，分類效果很好，精度很高，滿足要求。

5 結(jié)束語

ENVI上調(diào)用迭代函數(shù)的神經(jīng)網(wǎng)絡(luò)總體上比原來的神經(jīng)網(wǎng)絡(luò)分類要優(yōu)越，其鮮明的特色就是分類速度快，精度也高。這大大提速原有的神經(jīng)網(wǎng)絡(luò)分類速度，尤其在處理大數(shù)據(jù)優(yōu)越明顯。但是ENVI上仍存在神經(jīng)網(wǎng)絡(luò)分類單一化現(xiàn)象，怎樣使其減少人為的干預(yù)，使其更智能化是今后的研究趨勢。

參考文獻(xiàn)：

[1]董彥卿.IDL程序設(shè)計(jì)—數(shù)據(jù)可視化與ENVI二次開發(fā)[M].北京：高等教育出版社，2012.

第3篇

關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自組織學(xué)習(xí)

模糊神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)80年代后期的日本,由于其簡單、實(shí)用,已經(jīng)被廣泛應(yīng)用在工業(yè)控制、系統(tǒng)辨識、模式識別、數(shù)據(jù)挖掘等許多領(lǐng)域[1~4]。然而,如何從可用的數(shù)據(jù)集和專家知識中獲取合適的規(guī)則數(shù)仍然是一個(gè)尚未解決的問題。為了獲取模糊規(guī)則,研究人員提出了不同的算法,如文獻(xiàn)[5]利用正交最小二乘算法確定徑向基函數(shù)的中心,但是該算法訓(xùn)練速度比較慢;文獻(xiàn)[6]提出了基于徑向基函數(shù)的自適應(yīng)模糊系統(tǒng),其算法使用了分層自組織學(xué)習(xí)策略,但是逼近精度低。擴(kuò)展卡爾曼濾波(EKF)算法作為一種非線性更新算法,在神經(jīng)網(wǎng)絡(luò)中得到了廣泛應(yīng)用。文獻(xiàn)[7]利用擴(kuò)展卡爾曼濾波算法調(diào)整多層感知器的權(quán)值,文獻(xiàn)[8]利用擴(kuò)展卡爾曼濾波算法調(diào)整徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。

本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自組織學(xué)習(xí)算法(SFNN)。該算法基于無須修剪過程的生長準(zhǔn)則增加模糊規(guī)則,加速了網(wǎng)絡(luò)學(xué)習(xí)過程,同時(shí)使用EKF調(diào)整網(wǎng)絡(luò)的參數(shù)。在該算法中,模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不是預(yù)先設(shè)定的,而是在學(xué)習(xí)過程中動態(tài)變化的,即在學(xué)習(xí)開始前沒有一條模糊規(guī)則,在學(xué)習(xí)過程中逐漸增加模糊規(guī)則。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比,本算法所得到的模糊規(guī)則數(shù)并不會隨著輸入變量的增加而呈指數(shù)增長,特別是本算法無須領(lǐng)域的專家知識就可以實(shí)現(xiàn)對系統(tǒng)的自動建模及抽取模糊規(guī)則。當(dāng)然,如果設(shè)計(jì)者是領(lǐng)域?qū)＜?其知識也可以直接用于系統(tǒng)設(shè)計(jì)。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)小、避免出現(xiàn)過擬合現(xiàn)象等特點(diǎn)。

1SFNN的結(jié)構(gòu)

本文采用與文獻(xiàn)[9]相似的網(wǎng)絡(luò)結(jié)構(gòu),如圖1所示。其中,r是輸入變量個(gè)數(shù);xi(i=1,2,…,r)是輸入語言變量;y是系統(tǒng)的輸出;MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù);Rj表示第j條模糊規(guī)則;wj是第j條規(guī)則的結(jié)果參數(shù);u是系統(tǒng)總的規(guī)則數(shù)。

下面是對該網(wǎng)絡(luò)各層含義的詳細(xì)描述。

第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語言變量。

第二層:隸屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬函數(shù),隸屬函數(shù)采用如下的高斯函數(shù):

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是輸入變量數(shù);u是隸屬函數(shù)個(gè)數(shù),也代表系統(tǒng)的總規(guī)則數(shù);μij是xi的第j個(gè)高斯隸屬函數(shù);cij是xi的第j個(gè)高斯隸屬函數(shù)的中心;σij是xi的第j個(gè)高斯隸屬函數(shù)的寬度。

第三層:T-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分,也代表一個(gè)RBF單元,該層節(jié)點(diǎn)個(gè)數(shù)反映了模糊規(guī)則數(shù)。如果計(jì)算每個(gè)規(guī)則觸發(fā)權(quán)的T-范數(shù)算子是乘法,則在第三層中第j條規(guī)則Rj的輸出為

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量,該輸出是所有輸入變量的疊加。

y(X)=uj=1wjφj(3)

其中:y是網(wǎng)絡(luò)的輸出;wj是Then-部分。

2SFNN的學(xué)習(xí)算法

如前文所述,第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分或者一個(gè)RBF單元。如果需要辨識系統(tǒng)的模糊規(guī)則數(shù),則不能預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。于是,本文提出一種新的學(xué)習(xí)算法,該算法可以自動確定系統(tǒng)的模糊規(guī)則并能達(dá)到系統(tǒng)的特定性能。

2.1模糊規(guī)則的產(chǎn)生準(zhǔn)則

在模糊神經(jīng)網(wǎng)絡(luò)中,如果模糊規(guī)則數(shù)太多,不僅增加系統(tǒng)的復(fù)雜性,而且增加計(jì)算負(fù)擔(dān)和降低網(wǎng)絡(luò)的泛化能力;如果規(guī)則數(shù)太少,系統(tǒng)將不能完全包含輸入/輸出狀態(tài)空間,將降低網(wǎng)絡(luò)的性能。是否加入新的模糊規(guī)則取決于系統(tǒng)誤差、可容納邊界和誤差下降率三個(gè)重要因素。

2.1.1系統(tǒng)誤差

誤差判據(jù):對于第i個(gè)觀測數(shù)據(jù)(xi,ti),其中xi是輸入向量,ti是期望輸出,由式(3)計(jì)算網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的全部輸出yi。

定義:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

則說明網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的性能比較差,要考慮增加一條新的規(guī)則;否則,不生成新規(guī)則。其中:ke是根據(jù)網(wǎng)絡(luò)期望的精度預(yù)先選擇的值;emax是預(yù)定義的最大誤差;emin是期望的輸出精度;β(0<β<1)是收斂因子。

2.1.2可容納邊界

從某種意義上來講,模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)是對輸入空間的高效劃分。模糊神經(jīng)網(wǎng)絡(luò)的性能和結(jié)構(gòu)與輸入隸屬函數(shù)緊密相關(guān)。本文使用的是高斯隸屬函數(shù),高斯函數(shù)輸出隨著與中心距離的增加而單調(diào)遞減。當(dāng)輸入變量采用高斯隸屬函數(shù)時(shí),則認(rèn)為整個(gè)輸入空間由一系列高斯隸屬函數(shù)所劃分。如果某個(gè)新樣本位于某個(gè)已存在的高斯隸屬函數(shù)覆蓋范圍內(nèi),則該新樣本可以用已存在的高斯隸屬函數(shù)表示,不需要網(wǎng)絡(luò)生成新的高斯單元。

可容納邊界:對于第i個(gè)觀測數(shù)據(jù)(xi,ti),計(jì)算第i個(gè)輸入值xi與已有RBF單元的中心cj之間的距離di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是現(xiàn)有的模糊規(guī)則或RBF單元的數(shù)量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

則說明已存在的輸入隸屬函數(shù)不能有效地劃分輸入空間。因此,需要增加一條新的模糊規(guī)則,否則,觀測數(shù)據(jù)可以由已存在的距離它最近的RBF單元表示。其中:kd是可容納邊界的有效半徑;dmax是輸入空間的最大長度;dmin是所關(guān)心的最小長度;γ(0<γ<1)是衰減因子論文。

2.1.3誤差下降率

傳統(tǒng)的學(xué)習(xí)算法把誤差減少率(ERR)[5]用于網(wǎng)絡(luò)生長后的修剪過程,算法會因?yàn)樾藜暨^程而增加計(jì)算負(fù)擔(dān),降低學(xué)習(xí)速度。本文把誤差減少率用于生長過程形成一種新的生長準(zhǔn)則,算法無須經(jīng)過修剪過程,從而加速網(wǎng)絡(luò)的學(xué)習(xí)過程。

給定n個(gè)輸入/輸出數(shù)據(jù)對(xi,ti),t=1,2,…,n,把式(3)看做線性回歸模型的一種特殊情況,該線性回歸模型為

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可簡寫為

D=H+E(10)

D=TT∈Rn是期望輸出,H=φT∈Rn×u是回歸量,=WT∈Ru是權(quán)值向量,并且假設(shè)E∈Rn是與回歸量不相關(guān)的誤差向量。

對于矩陣φ,如果它的行數(shù)大于列數(shù),通過QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p1,p2,…,pu]∈Rn×u,其維數(shù)與H的維數(shù)相同,各列向量構(gòu)成正交基,Q∈Ru×u是一個(gè)上三角矩陣。通過這一變換,有可能從每一基向量計(jì)算每一個(gè)分量對期望輸出能量的貢獻(xiàn)。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的線性最小二乘解為G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和滿足下面的方程:

Q=G(14)

當(dāng)k≠l時(shí),pk和pl正交,D的平方和由式(15)給出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)給出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回歸量pk所造成的期望輸出方差的一部分。因此,pk的誤差下降率可以定義如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡單而有效的方法,其意義在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk對于輸出影響越顯著。利用ERR定義泛化因子(GF),GF可以檢驗(yàn)算法的泛化能力,并進(jìn)一步簡化和加速學(xué)習(xí)過程。定義:

GF=uk=1errk(19)

如果GF

2.2參數(shù)調(diào)整

需要注意的是,不管是新生成的隱節(jié)點(diǎn)還是已存在的隱節(jié)點(diǎn),都需要對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。傳統(tǒng)的方法是使用LLS[10]方法對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整,本文提出使用EKF方法調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)。由于LLS方法在確定最優(yōu)參數(shù)時(shí)計(jì)算簡單、速度快,但該方法對噪聲敏感,其學(xué)習(xí)速度隨著信噪比的增加而下降。另外,與LLS方法相關(guān)的問題是其求解可能是病態(tài)的,這使得參數(shù)估計(jì)變得很困難。EKF方法由于其自適應(yīng)過程比較復(fù)雜,計(jì)算速度沒有LLS方法快,但是EKF方法在噪聲環(huán)境下具有魯棒性,使用EKF方法可以實(shí)現(xiàn)一種健壯的在線學(xué)習(xí)算法。網(wǎng)絡(luò)參數(shù)可以用下面的EKF[11]方法進(jìn)行調(diào)整。事實(shí)上,網(wǎng)絡(luò)的參數(shù)向量θ可以看做一個(gè)非線性系統(tǒng)的狀態(tài),并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在當(dāng)前的估計(jì)值i-1處將非線性函數(shù)h(θi-1,Xi)展開,則狀態(tài)模型可以重寫為

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

參數(shù)向量θ使用下面的擴(kuò)展卡爾曼濾波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡爾曼增益矩陣;Pi是逼近誤差方差陣;Ri是量測噪聲方差陣;Qi是過程噪聲方差陣。

全局?jǐn)U展卡爾曼濾波算法會涉及大型矩陣運(yùn)算,增加計(jì)算負(fù)擔(dān),因此可以將全局問題劃分為一系列子問題從而簡化全局方法。網(wǎng)絡(luò)的前件部分具有非線性特性,利用擴(kuò)展卡爾曼濾波算法對其進(jìn)行調(diào)整;網(wǎng)絡(luò)的后件部分具有線性特性,利用卡爾曼濾波算法對其進(jìn)行調(diào)整,該方法等同于將全局方法簡化為一系列解耦方法,可以降低計(jì)算負(fù)擔(dān)。由于高斯函數(shù)的中心對系統(tǒng)的性能影響不明顯,為了簡化計(jì)算,只對高斯隸屬函數(shù)的寬度進(jìn)行調(diào)整。

前件參數(shù)使用如下的擴(kuò)展卡爾曼濾波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件參數(shù)使用如下的卡爾曼濾波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊規(guī)則的增加過程

在SFNN學(xué)習(xí)算法中,模糊規(guī)則增加過程如下:

a)初始參數(shù)分配。當(dāng)?shù)玫降谝粋€(gè)觀測數(shù)據(jù)(X1,t1)時(shí),此時(shí)的網(wǎng)絡(luò)還沒有建立起來,因此這個(gè)數(shù)據(jù)將被選為第一條模糊規(guī)則:c0=X0,δ1=δ0,w1=t1。其中δ0是預(yù)先設(shè)定的常數(shù)。

b)生長過程。當(dāng)?shù)玫降趇個(gè)觀測數(shù)據(jù)(Xi,ti)時(shí),假設(shè)在第三層中已存在u個(gè)隱含神經(jīng)元,根據(jù)式(4)(7)和(19),分別計(jì)算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

則增加一個(gè)新的隱含神經(jīng)元。其中ke、kd分別在式(5)和(8)中給出。新增加的隱含神經(jīng)元的中心、寬度和權(quán)值賦值為:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重疊因子。

c)參數(shù)調(diào)整。當(dāng)增加新神經(jīng)元后,所有已有神經(jīng)元的參數(shù)通過式(24)(25)描述的算法調(diào)整。

3仿真研究

時(shí)間序列預(yù)測在解決許多實(shí)際問題中是非常重要的。它在經(jīng)濟(jì)預(yù)測、信號處理等很多領(lǐng)域都得到了廣泛應(yīng)用。

本文采用的時(shí)間序列由Mackey-Glass差分延遲方程產(chǎn)生,其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

為了能夠與文獻(xiàn)[5,6]在相同的基礎(chǔ)上進(jìn)行比較,取值Δt=P=6,式(27)中的參數(shù)選擇為:a=0.1,b=0.2,τ=17。預(yù)測模型表示為x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

為了獲得時(shí)間序列,利用式(27)生成2000個(gè)數(shù)據(jù),式(27)的初始條件為:x(0)=1.2。為了訓(xùn)練和測試,在t=124和t=1123之間選擇1000個(gè)樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。使用前500個(gè)數(shù)據(jù)對作為訓(xùn)練數(shù)據(jù)集,后面的500個(gè)數(shù)據(jù)對驗(yàn)證該模型的預(yù)測性能。圖2顯示了SFNN生成的模糊規(guī)則數(shù);圖3顯示了從t=124到t=623的訓(xùn)練結(jié)果;圖4顯示了SFNN良好的預(yù)測性能。表1列出了SFNN與其他算法的比較結(jié)果。表1顯示,與OLS、RBF-AFS算法相比,SFNN具有最少的規(guī)則數(shù)、最小的誤差和良好的泛化能力,同時(shí)具有快速的學(xué)習(xí)速度。SFNN的快速性就在于:采用無須修剪過程的生長準(zhǔn)則,加速了網(wǎng)絡(luò)學(xué)習(xí)過程;利用擴(kuò)展卡爾曼濾波調(diào)整網(wǎng)絡(luò)的參數(shù),可以縮短網(wǎng)絡(luò)的學(xué)習(xí)周期。從上面的分析可以看出,SFNN具有緊湊的結(jié)構(gòu)、快速的學(xué)習(xí)速度、良好的逼近精度和泛化能力。

4結(jié)束語

SFNN采用在線學(xué)習(xí)方法、參數(shù)估計(jì)和結(jié)構(gòu)辨識同時(shí)進(jìn)行,提高了網(wǎng)絡(luò)的學(xué)習(xí)速度?；谠摲椒ㄉ傻哪：窠?jīng)網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)不會持續(xù)增長,避免了過擬合及過訓(xùn)練現(xiàn)象,確保了系統(tǒng)的泛化能力。

參考文獻(xiàn):

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韋玉科,汪仁煌,李江平,等.一種新的數(shù)據(jù)智能化處理算法[J].計(jì)算機(jī)應(yīng)用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

第4篇

【關(guān)鍵詞】計(jì)算機(jī)網(wǎng)絡(luò)連接 增強(qiáng)優(yōu)化 神經(jīng)網(wǎng)絡(luò)算法

計(jì)算機(jī)網(wǎng)絡(luò)是一種先進(jìn)的科技技術(shù)，自出現(xiàn)以來就極大程度的改變了人們的生活生產(chǎn)方式，帶來了非常大的便利。我國現(xiàn)階段的計(jì)算機(jī)網(wǎng)絡(luò)連接相對比較薄弱，存在很多不完善的地方。因此，有必要采取措施優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接，進(jìn)而維護(hù)計(jì)算機(jī)網(wǎng)絡(luò)連接的安全穩(wěn)定，營造良好的上網(wǎng)環(huán)境。

1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化

1.1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化的必要性

網(wǎng)絡(luò)連接對于計(jì)算機(jī)網(wǎng)絡(luò)的重要性不言而喻。如果出現(xiàn)網(wǎng)絡(luò)連接斷開的問題，就會導(dǎo)致計(jì)算機(jī)設(shè)備無法與通信網(wǎng)絡(luò)進(jìn)行有效的信息溝通。因此，必須優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接，拓?fù)鋽U(kuò)展計(jì)算機(jī)網(wǎng)絡(luò)，提升信息交流的有序性和有效性，降低影響所帶來的損失。因此，在現(xiàn)有的網(wǎng)絡(luò)環(huán)境中，加入合適的結(jié)點(diǎn)，進(jìn)而完善計(jì)算機(jī)網(wǎng)絡(luò)連接的有效率，以及提高網(wǎng)絡(luò)容量，拓展現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)，使得信息交流的交互性進(jìn)一步增強(qiáng)，最終實(shí)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)連接的優(yōu)化目的，拓?fù)鋽U(kuò)展了計(jì)算機(jī)網(wǎng)絡(luò)。現(xiàn)階段，存在非常多的措施能夠提升計(jì)算機(jī)網(wǎng)絡(luò)連接的效率，擴(kuò)展網(wǎng)絡(luò)容量，以及上網(wǎng)環(huán)境的優(yōu)化。但是，很多方法措施需要投入大量的資金作為支持，不具有實(shí)用性和經(jīng)濟(jì)性。而計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用要求計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化措施適當(dāng)合理，在最小的經(jīng)濟(jì)支出情況下解決問題，因此，只有采取增強(qiáng)優(yōu)化下的神經(jīng)網(wǎng)絡(luò)算法。

1.2 計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)主要是指，網(wǎng)上計(jì)算機(jī)或設(shè)備與傳輸媒介形成的結(jié)點(diǎn)與線的物理構(gòu)成模式。通信子網(wǎng)直接影響計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的形式，拓?fù)浣Y(jié)構(gòu)能夠在一定程度上保證網(wǎng)絡(luò)信息數(shù)據(jù)系統(tǒng)的安全性、可靠性、完整性，此外能夠?qū)?shù)據(jù)信息進(jìn)行共享、處理以及交換等內(nèi)容。根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)框架分析，可以清楚的明確計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)是由鏈路和節(jié)點(diǎn)所組成，也可以這樣理解，計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)涫怯捎?jì)算機(jī)組成的，網(wǎng)絡(luò)之間設(shè)備的分布情況以及連接狀態(tài)所形成的拓樸圖。通常情況下計(jì)算機(jī)網(wǎng)絡(luò)用G= 來表示，V指的是網(wǎng)絡(luò)結(jié)點(diǎn)集，E指的是鏈路集。如果增加結(jié)構(gòu)中的結(jié)點(diǎn)集用Va表示，增加的連接集用Eb表示，進(jìn)而得出計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)為G’=。

2 基于計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法

2.1 神經(jīng)網(wǎng)絡(luò)算法

思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象思維、形象思維和靈感思維三種基本方式。而抽象思維是一種邏輯化思想，形象思維是一種直觀化思想，靈感思維是一種頓悟性和創(chuàng)造性思想。而神經(jīng)網(wǎng)絡(luò)思維，就是通過對上述理論的分析實(shí)踐，模擬人類大腦思維的第二種方式。人工神經(jīng)網(wǎng)絡(luò)，是一個(gè)非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。 相對人工神經(jīng)網(wǎng)絡(luò)來說，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)更加高級，通過對網(wǎng)絡(luò)算法以及網(wǎng)絡(luò)模型的合理運(yùn)用，合理處理信號，或者識別某種運(yùn)行模式，最終形成一套獨(dú)立完善的專家系統(tǒng)，或者智能化的機(jī)器人。

現(xiàn)階段，社會中越來越多的領(lǐng)域開始應(yīng)用人工神經(jīng)網(wǎng)絡(luò)，在生產(chǎn)領(lǐng)域上取得了明顯效果。人們也越發(fā)提高對人工神經(jīng)網(wǎng)絡(luò)算法的重視程度，神經(jīng)網(wǎng)絡(luò)算法是在此基礎(chǔ)上逐漸發(fā)展完善的，是監(jiān)督性的學(xué)習(xí)算法。但是在實(shí)際應(yīng)用過程中，人工神經(jīng)網(wǎng)絡(luò)算法還存在一些不足之處，沒有合理解決收斂速度緩慢的問題，無法控制收斂程度到最小點(diǎn)，因此增加了計(jì)算機(jī)網(wǎng)絡(luò)記憶和學(xué)習(xí)的不穩(wěn)定性，同時(shí)計(jì)算機(jī)網(wǎng)絡(luò)連接效果也受此影響。

2.2 均場神經(jīng)網(wǎng)路算法

通過建立科學(xué)合理的場均神經(jīng)網(wǎng)絡(luò)模型，有利于進(jìn)行計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的均場神經(jīng)網(wǎng)絡(luò)算法研究工作，進(jìn)而評判網(wǎng)絡(luò)效果。需要注意的是，利用函數(shù)法構(gòu)建模型時(shí)，應(yīng)當(dāng)加強(qiáng)目標(biāo)函數(shù)的構(gòu)建問題工作，可以用以下方式表現(xiàn)構(gòu)建模型：Hopfield計(jì)算網(wǎng)絡(luò)中的神經(jīng)元狀態(tài)，可以用Fi進(jìn)行表示，如果Fi=1，那么表示網(wǎng)絡(luò)選中了連接i，能夠正常連接；如果Fi=0，那么表示網(wǎng)絡(luò)沒有選中連接i，不能正常連接。之后可以利用罰函數(shù)法結(jié)構(gòu)，創(chuàng)建網(wǎng)絡(luò)模型，保證Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要對目標(biāo)函數(shù)進(jìn)行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 參數(shù)，構(gòu)造Lyapunov能量函數(shù)為：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技術(shù)，將隨機(jī)變量函數(shù)的均值由隨機(jī)變量均值的函數(shù)替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果隨機(jī)變量均值〈Fi〉由均場變量Ri替換，可以得出均場網(wǎng)絡(luò)結(jié)構(gòu)：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均場網(wǎng)絡(luò)的能量函數(shù)為：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通過對算法步驟的簡單分析，可以看出：第一、根據(jù)問題設(shè)置參數(shù)；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整數(shù)；第三、重復(fù)以上操作，知道滿足停止規(guī)則。

3 總結(jié)

總而言之，計(jì)算機(jī)網(wǎng)絡(luò)在社會各個(gè)領(lǐng)域中，都在發(fā)揮的無可替代的作用。如果計(jì)算機(jī)網(wǎng)絡(luò)連接出現(xiàn)問題，將會嚴(yán)重影響相關(guān)企業(yè)或者設(shè)備的正常運(yùn)轉(zhuǎn)，進(jìn)而降低經(jīng)濟(jì)效益。因此，必須提高計(jì)算機(jī)網(wǎng)絡(luò)連接的重視程度，進(jìn)一步完善優(yōu)化連接效率，維護(hù)網(wǎng)絡(luò)連接的穩(wěn)定性和可靠性，為我國計(jì)算機(jī)事業(yè)的未來發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1]陳竺.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法[J].電子技術(shù)與軟件工程，2014（19）：16-16.

[2]王穎華，金愛花.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的均場神經(jīng)網(wǎng)絡(luò)算法[J].硅谷，2013（15）：61-62.

[3]李盼池，許少華.基于過程神經(jīng)網(wǎng)絡(luò)和遺傳算法的系統(tǒng)逆向過程求解[J].計(jì)算機(jī)測量與控制，2015（10）：948-950.

第5篇

1什么是CBIR

傳統(tǒng)的基于文本的圖像檢索（Text-Based Image Retrieval，TBIR）技術(shù)是先通過人工方式對圖像進(jìn)行文字標(biāo)注，再用關(guān)鍵字來檢索圖像，這種方式耗時(shí)并且主觀，無法滿足大規(guī)模圖像數(shù)據(jù)的檢索需要?；趦?nèi)容的圖像檢索（Content-Based Image Retrieval，CBIR）技術(shù)是根據(jù)圖像對象的內(nèi)容及上下文聯(lián)系在大規(guī)模多媒體數(shù)據(jù)庫中進(jìn)行檢索。

2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)學(xué)的研究基礎(chǔ)上發(fā)展起來的一種模仿人腦信息處理機(jī)制的網(wǎng)絡(luò)系統(tǒng)，它具有自組織、自學(xué)習(xí)和極強(qiáng)的非線性處理能力，能夠完成學(xué)習(xí)、記憶、識別和推理等功能，它已在控制、模式識別、圖像和視頻信號處理、人工智能、自造應(yīng)濾波等方面獲得了應(yīng)用。醫(yī)學(xué)上，神經(jīng)網(wǎng)絡(luò)這一智能的診斷方法，能夠排除各種人為因素，得到準(zhǔn)確客觀的診斷結(jié)果，對醫(yī)學(xué)圖像數(shù)據(jù)若用傳統(tǒng)的線性處理模式通常不太好處理， BP神經(jīng)網(wǎng)絡(luò)是眾多神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種多層前饋神經(jīng)網(wǎng)絡(luò)，圖1所示為三層BP神經(jīng)網(wǎng)絡(luò)。

3蟻群算法

蟻群算法[6]（Ant Colony Optimization，ACO）是由意大利學(xué)者Dorigo等人于20世紀(jì)90年代初期通過模擬自然界中螞蟻集體尋徑的行為而提出的一種基于種群的啟發(fā)式隨機(jī)搜索算法。蟻群算法作為一種新型的智能仿生模型，近幾年在圖像分割、圖像特征提取、圖像匹配、影像紋理分類、圖像檢索等領(lǐng)域都取得了研究成果[8]。

4神經(jīng)網(wǎng)絡(luò)算法和蟻群算法在醫(yī)學(xué)圖像檢索中的應(yīng)用

CBIR檢索過程是一個(gè)逐步求精的過程，其在醫(yī)學(xué)上的應(yīng)用可以看成是用戶（放射學(xué)者、醫(yī)師等）和醫(yī)學(xué)圖像數(shù)據(jù)庫之間的一個(gè)交互過程。其基本原理是：對醫(yī)學(xué)圖像數(shù)據(jù)庫中的每幅圖像先進(jìn)行特征分析，提取圖像的特征；建立醫(yī)學(xué)圖像數(shù)據(jù)庫的同時(shí)，建立與圖像庫相關(guān)聯(lián)的特征庫；在進(jìn)行圖像檢索時(shí)，對給定的查詢例圖，先提取特征向量，再將該特征向量與特征庫中的特征向量進(jìn)行匹配，根據(jù)匹配的結(jié)果在醫(yī)學(xué)圖像數(shù)據(jù)庫中搜索，即可檢索出所需的圖像。本文結(jié)合神經(jīng)網(wǎng)絡(luò)算法結(jié)合蟻群算法，將其應(yīng)用于醫(yī)學(xué)圖像檢索，見圖2。

4.1醫(yī)學(xué)圖像預(yù)處理 在醫(yī)學(xué)方面，圖像預(yù)處理的主要目的是消除圖像中無關(guān)的信息、增強(qiáng)有關(guān)信息的可檢測性并最大限度地簡化數(shù)據(jù)，從而提高醫(yī)務(wù)人員對圖像判讀的準(zhǔn)確性及效率。本課題中圖像預(yù)處理方法由圖像增強(qiáng)、圖像分割組成。

4.1.1圖像增強(qiáng) 圖像增強(qiáng)[2]是進(jìn)行圖像檢索的先行步驟，可以用公式 來表示，其中 是輸入圖像， 是增強(qiáng)后的圖像， 是對輸入圖像所進(jìn)行的操作。本文主要采用直方圖均衡化方法來進(jìn)行圖像增強(qiáng)，直方圖均衡化是將一已知灰度概率密度分布的圖像，經(jīng)過某種變換變成一幅具有均勻灰度概率密度分布的新圖像。與其他方法相比，直方圖均衡化方法適用范圍廣，易于實(shí)現(xiàn)，可達(dá)到較好的增強(qiáng)效果，暗區(qū)中的圖像能清楚的顯示出來，能夠展示更多診斷信息。

4.1.2圖像分割 醫(yī)學(xué)圖像分割是根據(jù)醫(yī)學(xué)圖像的某種相似性特征將圖像劃分為若干個(gè)互不相交的"連通"區(qū)域的過程。醫(yī)學(xué)圖像中，大多數(shù)情況下都需要對醫(yī)學(xué)圖像作分割，來突出需要的目標(biāo)物體，如病灶。采用sobel算子計(jì)算醫(yī)學(xué)圖像邊緣和閾值，在此基礎(chǔ)上修改閾值使邊緣更加精確，以此實(shí)現(xiàn)圖像分割。

4.2神經(jīng)網(wǎng)絡(luò)算法（如圖3所示）的實(shí)現(xiàn)。

基本步驟如下：①確定問題：對問題做出詳細(xì)的調(diào)研，明確目標(biāo)，然后考慮如何引入粗糙集從而更好地解決問題。②對數(shù)據(jù)進(jìn)行收集，即采集經(jīng)過圖像預(yù)處理之后得到的特征數(shù)據(jù)。③數(shù)據(jù)處理：把要處理的數(shù)據(jù)建立成一張二維決策表，每一行描述一個(gè)對象，每一列描述對象的一種屬性。在本步中，如果無法得到完備的數(shù)據(jù)表，就有必要將信息表進(jìn)行完備化操作；如果初始數(shù)據(jù)是連續(xù)值，還要經(jīng)過連續(xù)屬性離散化操作。④根據(jù)粗糙集理論[5]對數(shù)據(jù)進(jìn)行屬性約簡，利用屬性重要度去掉數(shù)據(jù)表中的冗余條件屬性，并消去重復(fù)的樣本。⑤根據(jù)上步中得到的訓(xùn)練數(shù)據(jù)樣本設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)，根據(jù)約簡結(jié)果確定神經(jīng)網(wǎng)絡(luò)的輸入層單元數(shù)和隱含層節(jié)點(diǎn)數(shù)。采用一個(gè) 的3層BP神經(jīng)網(wǎng)絡(luò)。隱藏層神經(jīng)元的傳遞函數(shù)設(shè)計(jì)為S型正切函數(shù)，輸出層神經(jīng)元的傳遞函數(shù)設(shè)計(jì)為S型對數(shù)函數(shù)。⑥用約簡后形成的學(xué)習(xí)樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，得到神經(jīng)網(wǎng)絡(luò)的權(quán)值。然后將測試樣本輸入網(wǎng)絡(luò)進(jìn)行測試，輸出最終結(jié)果。本算法中，規(guī)定BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練指標(biāo)為0.01，訓(xùn)練次數(shù)C<5000次。

4.3蟻群算法的實(shí)現(xiàn)（如圖4所示）。

目前，CBIR方面現(xiàn)已有了大量研究，但CBIR的系統(tǒng)很少用于臨床，如遵義醫(yī)學(xué)院附屬醫(yī)院在進(jìn)行醫(yī)學(xué)圖像檢索時(shí)，更常用的方式還是傳統(tǒng)的基于文本的圖像檢索方式，其最大的原因是CBIR方式檢索速度慢，響應(yīng)時(shí)間長。為此，如何保證醫(yī)學(xué)圖像數(shù)據(jù)檢索的有效性和準(zhǔn)確性是目前CBIR迫切需要解決的問題之一。本文將BP神經(jīng)網(wǎng)絡(luò)和蟻群算法結(jié)合起來，借助蟻群算法易于與其他算法相結(jié)合的優(yōu)勢，利用蟻群算法對粗神經(jīng)網(wǎng)絡(luò)算法的參數(shù)進(jìn)行優(yōu)化的同時(shí)，結(jié)合醫(yī)學(xué)圖像的特殊性，提出將神經(jīng)網(wǎng)絡(luò)算法和蟻群算法結(jié)合起來應(yīng)用于CBIR中具有一定的現(xiàn)實(shí)意義。

參考文獻(xiàn)：

[1]蔣歷軍.應(yīng)用網(wǎng)格和水印技術(shù)對基于內(nèi)容的肝臟CT圖像檢索的研究[D].上海交通大學(xué)，2009.

[2]岡薩雷斯.數(shù)字圖像處理（MATLAB版）[M].北京：電子工業(yè)出版社，2012.

[3]史元春，徐光祐，高原.中國多媒體技術(shù)研究：2011[J].中國圖象圖形學(xué)報(bào)，2012.

[4]H Zhang， JE Fritts， SA Goldman.Image segmentation evaluation： A survey of unsupervised methods[J].Computer Vision and Image Understanding， 2008.

[5]蔣世忠，易法令，湯浪平，等.基于圖割與粗糙集的MRI腦部腫瘤圖像檢索方法[J].中國組織工程研究與臨床康復(fù)，2010.

[6]張小冬.蟻群算法在醫(yī)學(xué)圖像識別中的研究與應(yīng)用[D].揚(yáng)州大學(xué)，2009.

[7]李旭超，劉海寬，王飛，等.圖像分割中的模糊聚類方法[J].中國圖象圖形學(xué)報(bào)，2012.

[8]Veenman C，Reinders M，Backer E.A Cellular Coevolutionary Algorithm for Image Segmentation [J].IEEE Transaction on Image Processing， 2003.

第6篇

關(guān)鍵詞：自主角色; 神經(jīng)網(wǎng)絡(luò); 遺傳算法

中圖分類號： TP183

文獻(xiàn)標(biāo)識碼：A

0引言

隨著計(jì)算機(jī)圖形學(xué)和硬件技術(shù)的高速發(fā)展，計(jì)算機(jī)游戲近十幾年也取得了很大的發(fā)展，游戲軟件已成為軟件產(chǎn)業(yè)中非常重要的內(nèi)容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時(shí)戰(zhàn)略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對游戲的興趣度。因此，對NPC與PLAYER之間的角色交互行為方式的研究已經(jīng)成為游戲軟件中的一個(gè)非常重要的研究課題。

目前大多數(shù)游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現(xiàn)在角色的行為都是預(yù)先確定的，這種類型的行為實(shí)現(xiàn)起來較為簡單，也是目前大多數(shù)游戲所采用的交互方式。像這種確定性的行為往往體現(xiàn)不出角色的自主性，而且還會導(dǎo)致角色行動單調(diào)乏味，其行動很容易被玩家所預(yù)測,降低游戲的可玩性。為此,我們需要在游戲軟件中設(shè)計(jì)和實(shí)現(xiàn)這樣的NPC角色，它能夠根據(jù)當(dāng)前環(huán)境的變化以及以往的經(jīng)驗(yàn)知識來動態(tài)地改變對PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應(yīng)角色。具有自主和自適應(yīng)特點(diǎn)的角色可具有推理能力和自適應(yīng)能力,在游戲環(huán)境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長這款游戲的生命周期，因此促使游戲開發(fā)人員花更多的時(shí)間來研究自主角色的實(shí)現(xiàn)。一些公司已經(jīng)開始嘗試從人工智能領(lǐng)域發(fā)展出更加高級的技術(shù)，如采用決策樹或者強(qiáng)化學(xué)習(xí)來實(shí)現(xiàn)角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學(xué)習(xí)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)角色的自主性。

有關(guān)自主角色行為的論文已經(jīng)有很多做出了卓有成效的成績，如在Reynolds的文獻(xiàn)［1］中，對自主角色的群體行為進(jìn)行了描述。Blumberg和Galyean［2］中引入更多的行為控制機(jī)制，并考慮了行為學(xué)習(xí)這樣一個(gè)令人感興趣的問題。對于自主角色的更高層次的認(rèn)知能力方面，John David Fungc［3］中指出，認(rèn)知模型是用于創(chuàng)建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認(rèn)知模型和物理學(xué)模型之間的緩沖區(qū)，并將情景演算(situation calculus)［4］用于高度動態(tài)的虛擬世界。

但是，上述各種方法因?yàn)閭?cè)重點(diǎn)不同，各有優(yōu)缺點(diǎn)，且相互之間較為獨(dú)立，因此本文結(jié)合上述一些方法的優(yōu)點(diǎn)，在此基礎(chǔ)上提出了基于認(rèn)知角色建模，采用神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的游戲自主角色的設(shè)計(jì)思路?；诖耍餍」?jié)安排如下：

第一節(jié)確定了基于認(rèn)知建模方法的游戲自主角色模型；第二節(jié)介紹了神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)自主角色中的應(yīng)用；第三節(jié)說明了遺傳算法對神經(jīng)網(wǎng)絡(luò)的優(yōu)化；第四節(jié)對自主角色的實(shí)驗(yàn)進(jìn)行了分析。

1基于認(rèn)知建模的角色自主性模型

由于認(rèn)知建模方法能夠采用精確的數(shù)學(xué)方式來定義自主角色的行為和學(xué)習(xí)模式，因此本文采用認(rèn)知建模方法來對游戲角色的自主性進(jìn)行建模。這里將游戲中存在的非玩家控制的角色簡稱為NPC,通過認(rèn)知建模方法研究NPC的高級行為規(guī)劃，指導(dǎo)NPC,提高NPC的智能水平能力，使NPC能夠?qū)Νh(huán)境作出判斷，并根據(jù)當(dāng)前的狀態(tài)進(jìn)行推理，進(jìn)而完成相應(yīng)的行動序列,有利于創(chuàng)建聰明自主的智能體――具有認(rèn)知能力的自主的角色。

在計(jì)算機(jī)游戲中，我們將游戲角色關(guān)于他所在世界的內(nèi)部模型稱“認(rèn)知模型”(Cognitive Model)。認(rèn)知模型可以用于游戲中，控制一類自主的角色。通過認(rèn)知模型支配游戲角色對其所在環(huán)境的了解程度，如何獲取知識，以及如何利用知識選擇行動。

NPC的行為分為“預(yù)定義的”和“非確定性的”兩種，建立的認(rèn)知模型也各不相同。建立預(yù)定義行為的認(rèn)知模型比較簡單，只要將事先定義好的NPC所在環(huán)境的領(lǐng)域知識賦予NPC系統(tǒng)，NPC就可以根據(jù)人們的要求采取某種行動。而非確定性的行為不容易控制。為了實(shí)現(xiàn)人為的控制，我們采取一種折中的方法，即將領(lǐng)域知識和人的指導(dǎo)賦予NPC，使NPC主動地向人們希望它達(dá)到的目標(biāo)發(fā)展。可由下面的公式表示:

知識+指導(dǎo)=行為

領(lǐng)域知識能夠用來規(guī)劃目標(biāo)，而指導(dǎo)對如何達(dá)到目標(biāo)提供一種框架計(jì)劃。

當(dāng)然NPC在決定采取什么樣的行動時(shí)并不需要整個(gè)虛擬世界的知識。所以，我們認(rèn)為NPC的認(rèn)知模型是角色對其虛擬世界的一種內(nèi)部簡化模型〔simplified model〕。

為此我們在現(xiàn)有游戲系統(tǒng)之上營造一個(gè)通過認(rèn)知模型定義的高級行為規(guī)劃器來實(shí)現(xiàn)對NPC的行為指導(dǎo)。規(guī)劃器模型設(shè)計(jì)如圖1所示。

NPC的預(yù)定義行為和非確定行為都可以形式化為認(rèn)知模型，通過認(rèn)知模型來指導(dǎo)NPC高級行為規(guī)劃器，由于神經(jīng)網(wǎng)絡(luò)在非確定中的強(qiáng)大的學(xué)習(xí)作用，因此本項(xiàng)目通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)NPC高級行為規(guī)劃器的三個(gè)方面：目標(biāo)引導(dǎo)、行為協(xié)調(diào)、約束滿足。

2基于人工神經(jīng)網(wǎng)絡(luò)的角色自主系統(tǒng)

這里,我們采用的是神經(jīng)網(wǎng)絡(luò)中的BP網(wǎng)絡(luò)作為NPC的感知系統(tǒng)。BP算法是一種用于多層前向網(wǎng)絡(luò)的學(xué)習(xí)算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結(jié)構(gòu)。BP網(wǎng)絡(luò)的學(xué)習(xí)過程包括兩個(gè)階段:第一階段計(jì)算前向輸出;第二階段從反向調(diào)整連接權(quán)矩陣。

在前向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的輸出作為上層神經(jīng)元的輸入.如果在輸出層，實(shí)際輸出值與期望輸出值有誤差時(shí)，則以反向?qū)⒄`差信號逐層修改連接權(quán)系數(shù)并且反復(fù)迭代，最后使實(shí)際輸出值與期望值的均方差為最小。在修正連接權(quán)系數(shù)時(shí)，通常采用梯度下降算法。

BP神經(jīng)網(wǎng)絡(luò)使用的是指導(dǎo)式的學(xué)習(xí)方法,即在學(xué)習(xí)過程中,向網(wǎng)絡(luò)提供有明確輸入和輸出目標(biāo)的樣本對。BP學(xué)習(xí)算法是基于最小二乘法LMS 算法,運(yùn)用梯度下降方法,使網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的均方差最小。網(wǎng)絡(luò)的學(xué)習(xí)過程是一種誤差邊向后傳播邊修正連接權(quán)的過程。因?yàn)锽P網(wǎng)絡(luò)對以分類為主要目的的學(xué)習(xí)非常有效,所以,我們采用B P網(wǎng)絡(luò)進(jìn)行NPC分類的自學(xué)習(xí)。需要輸入NPC自主系統(tǒng)中BP網(wǎng)絡(luò)的特征參數(shù)主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環(huán)境下，在與玩家的不斷交互中刺激著感知系統(tǒng)，在外界環(huán)境發(fā)生變化時(shí)產(chǎn)生認(rèn)知模型指導(dǎo)下的自主行為，通過神經(jīng)網(wǎng)絡(luò)最終演化成具有自主性的行為系統(tǒng)，同時(shí)，利用遺傳算法使適應(yīng)度有一定程度的增加，使NPC更適應(yīng)外界環(huán)境的變化。關(guān)于NPC的感知系統(tǒng)的設(shè)置如下：

1） 輸入?yún)?shù)的確定

NPC的感知系統(tǒng)由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成，虛擬游戲環(huán)境的特征參數(shù)作為輸入送入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在我們的游戲項(xiàng)目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續(xù)類型三種，但是這三種類型都需要轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)所認(rèn)可的實(shí)數(shù)類型。

2） 權(quán)重的確定

權(quán)重有些類似于生物神經(jīng)網(wǎng)絡(luò)的樹突聯(lián)結(jié)，權(quán)重影響了輸出變量的值，并且定義了神經(jīng)網(wǎng)絡(luò)的行為，實(shí)際上訓(xùn)練或者演化神經(jīng)網(wǎng)絡(luò)的主要目標(biāo)就是確定NPC神經(jīng)網(wǎng)絡(luò)的權(quán)重。為了確定每個(gè)輸入?yún)?shù)的權(quán)重，需要確定激活函數(shù)。

3） 激活函數(shù)的確定

激活函數(shù)確定了輸入與輸出參數(shù)之間的映射關(guān)系，針對NPC自主角色的神經(jīng)網(wǎng)絡(luò)，我們采用的是非線性激活函數(shù)，具體采用的是S型激活函數(shù)。

3基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化

神經(jīng)網(wǎng)絡(luò)的基本特征是大規(guī)模并行處理、容錯(cuò)性、自適應(yīng)性和自組織性，適合處理直覺和形象思維信息。神經(jīng)網(wǎng)絡(luò)與遺傳算法的結(jié)合使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有了一個(gè)嶄新的面貌，目標(biāo)函數(shù)既不要求連續(xù)，也不要求可微，僅要求該問題可計(jì)算，而且它的搜索始終遍及整個(gè)解空間，因此容易得到全局最優(yōu)解。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，可以使得神經(jīng)網(wǎng)絡(luò)具有自進(jìn)化、自適應(yīng)能力，從而構(gòu)造出進(jìn)化的神經(jīng)網(wǎng)絡(luò)(ENN)［5］。

研究NPC的進(jìn)化,要建立NPC在虛擬環(huán)境中進(jìn)行的各種行為模型。另外,同虛擬環(huán)境本身也會發(fā)生競爭。由于適應(yīng)度是NPC競爭力大小的直接反映,為了建立NPC的競爭機(jī)制,首先要建立NPC的適應(yīng)度函數(shù)。

首先,NPC的適應(yīng)度函數(shù)和NPC的種類相關(guān)。在同一環(huán)境下,不同NPC的適應(yīng)度肯定是不相同的［6］。同時(shí),為了表現(xiàn)NPC自學(xué)習(xí)對進(jìn)化的影響,有了學(xué)習(xí)能力的同種NPC適應(yīng)度的取值也有所不同。其次,NPC的適應(yīng)度還與其所處的不同階段有關(guān)。適應(yīng)度取值在其不同階段中不是一成不變的。

在環(huán)境不發(fā)生變化時(shí),NPC的適應(yīng)度函數(shù)F(t)可以用此函數(shù)表示:

其中,參數(shù)a表示NPC的生命力值;參數(shù)k表示NPC的類型,不同的NPC對同一游戲環(huán)境的適應(yīng)性是不一樣的,當(dāng)k取不同的值時(shí),會得到適應(yīng)度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經(jīng)網(wǎng)絡(luò)中提取權(quán)重向量；

2） 用遺傳算法演化出一個(gè)新的網(wǎng)絡(luò)權(quán)重群體；

3） 把新的權(quán)重插入到NPC神經(jīng)網(wǎng)絡(luò)；

4） 轉(zhuǎn)到第一步進(jìn)行重復(fù)，直至獲得理想的性能。

4試驗(yàn)分析

我們的實(shí)驗(yàn)測試場景如下：

在一個(gè)仿真的三維游戲環(huán)境下,游弋著若干個(gè)NPC角色和一個(gè)玩家控制的虛擬角色,主角可以漫游整個(gè)游戲場景,這些NPC當(dāng)遇到主角后,可能會對主角采取不同的行為,比如攻擊行為,逃避行為,團(tuán)隊(duì)作戰(zhàn)行為,對話行為等,所有這些行為的決策都取自于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在采用神經(jīng)網(wǎng)絡(luò)算法之前，所有的NPC無論強(qiáng)弱，都會主動向玩家角色發(fā)起攻擊，而在采用神經(jīng)網(wǎng)絡(luò)算法之后，這些NPC都具有了一個(gè)人工大腦，每個(gè)NPC在與玩家角色的交互過程不斷地學(xué)習(xí)，不斷地演化，最終變成自主角色，具體表現(xiàn)在：NPC根據(jù)以往與玩家角色交互過程中的經(jīng)驗(yàn)，從而產(chǎn)生較為理智的行為，比如當(dāng)NPC感覺玩家的綜合實(shí)力要高于自己時(shí)，它可能會采取逃避的行為，而當(dāng)NPC感覺其綜合實(shí)力要高于玩家時(shí)，它往往會主動攻擊玩家。

表1和表2列舉了應(yīng)用神經(jīng)網(wǎng)絡(luò)算法前后的測試數(shù)據(jù)。

應(yīng)用神經(jīng)網(wǎng)絡(luò)算法所采取的實(shí)驗(yàn)方案如下：

(1) 對于NPC感知系統(tǒng)的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽(yù)度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽(yù)度。并將參數(shù)歸一化，使最終的參數(shù)范圍位于[-1, 1]之間；

(2) 對于NPC感知系統(tǒng)的輸出，包括躲避，單獨(dú)攻擊，潛伏，召喚同伴，團(tuán)隊(duì)攻擊等行為。即將神經(jīng)元的輸出元設(shè)計(jì)成五個(gè)，這些行為通過一些標(biāo)志符來確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過對比兩組測試試驗(yàn),可以發(fā)現(xiàn)后一組試驗(yàn)中,NPC能夠根據(jù)自己的實(shí)力和玩家的實(shí)力對比，理智的采取一些行為（比如退避，呼喚同伴協(xié)同作戰(zhàn)）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

第7篇

[關(guān)鍵詞]小波神經(jīng)網(wǎng)絡(luò) 電阻率儀器 溫度補(bǔ)償算法

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-914X（2015）15-0343-01

1、前言

在實(shí)際的現(xiàn)場工礦條件中，油層溫度遠(yuǎn)高于地面正常的環(huán)境溫度，在一定范圍內(nèi)造成儀器的測量數(shù)據(jù)產(chǎn)生溫度漂移，不能準(zhǔn)確地反映真實(shí)的地層參數(shù)，這直接影響到定向工程。為了消除這種測量誤差，本文介紹一種基于小波神經(jīng)網(wǎng)絡(luò)的算法來實(shí)現(xiàn)電阻率溫度補(bǔ)償，并通過實(shí)際的測量數(shù)據(jù)修正結(jié)果證實(shí)了能夠最大限度地消除溫度造成的測量誤差。

2、理論基礎(chǔ)

由于溫度造成的測量數(shù)據(jù)偏差已經(jīng)影響到儀器正常的工作，為了消除其對MRC儀器輸出的影響，達(dá)到輸出電壓與各個(gè)易感器件產(chǎn)生的連帶誤差最小的目標(biāo)，采用一種算法去逼近真正的測量值。本文擬采用基于小波分析和前饋神經(jīng)網(wǎng)絡(luò)，其所構(gòu)成的數(shù)學(xué)模型結(jié)合了小波變換良好的時(shí)域局域化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能，通過對網(wǎng)絡(luò)特征的分析處理，將學(xué)習(xí)向量的內(nèi)積和小波基迭代計(jì)算，以實(shí)現(xiàn)函數(shù)逼近的目標(biāo)。小波網(wǎng)絡(luò)因其良好的非線性映射能力和較強(qiáng)的容錯(cuò)逼近特性，能夠逼近特定性質(zhì)的非線性曲線[2]。

如圖1所示：

2.1 小波神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，是用已定位的小波元代替神經(jīng)元作為網(wǎng)絡(luò)的激活函數(shù)，通過小波網(wǎng)絡(luò)提供區(qū)別函數(shù)的多分辨近似，非平穩(wěn)信號分析和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)的并行處理。利用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)正向傳遞與誤差的反向傳播算法，計(jì)算輸出層的誤差變化值。同時(shí)選取適當(dāng)?shù)男〔ㄗ魈卣魈崛?，在其特征空間選取最佳的小波基，通過伸縮和平移因子，加快網(wǎng)絡(luò)學(xué)習(xí)和收斂速度。本文采用的是以小波函數(shù)為隱層節(jié)點(diǎn)的基函數(shù)的神經(jīng)網(wǎng)絡(luò)，進(jìn)行隨鉆儀器電阻參數(shù)溫度補(bǔ)償?shù)难芯俊?/p>

小波分析的定義：在函數(shù)空間中選擇母小波函數(shù)S（x），此函數(shù)需要滿足相容性條件。

對小波函數(shù)S（x）進(jìn)行伸縮變換和平移變換得到小波基函數(shù)，其公式如下：

其中自變量（a，b）是伸縮因子和平移因子。小波級數(shù)把函數(shù)f（x）分解成不同頻率的組合。

符號“< >”表示內(nèi)積，和稱為小波系數(shù)。

2.2 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及算法

本文采用小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示

該網(wǎng)絡(luò)輸入神經(jīng)元代表的是不同溫度下測量節(jié)點(diǎn)的采樣數(shù)值，將此學(xué)習(xí)樣本輸入到神經(jīng)網(wǎng)絡(luò)，隱層的激勵函數(shù)采用的是Morlet小波，選用的依據(jù)是其對隱層基函數(shù)的正交性要求較低，具有較高的時(shí)頻域分辨能力，同時(shí)滿足相容性條件，能有效地提高學(xué)習(xí)逼近的速度和準(zhǔn)確性。

小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法流程圖如圖3所示：開始網(wǎng)絡(luò)化參數(shù)初始輸入學(xué)習(xí)樣本和期望輸出小波網(wǎng)絡(luò)學(xué)習(xí)，計(jì)算網(wǎng)絡(luò)實(shí)際輸出網(wǎng)絡(luò)誤差學(xué)習(xí)次數(shù)T

三、儀器溫度補(bǔ)償實(shí)例

儀器發(fā)射線圈流過的電流產(chǎn)生磁場，通過井眼和周圍的底層傳播到兩個(gè)接受線圈，采集其測量時(shí)序和信號幅度，從而來計(jì)算此地層的電阻率值。在實(shí)際的測量計(jì)算中，選用相位差和幅度比來實(shí)現(xiàn)。設(shè)定常溫到120度之間的試驗(yàn)需求樣本數(shù)據(jù)，通過網(wǎng)絡(luò)學(xué)習(xí)所達(dá)到的實(shí)測數(shù)據(jù)。網(wǎng)絡(luò)學(xué)習(xí)的收斂速度也滿足了預(yù)期的效果，同時(shí)滿足了設(shè)定的誤差范圍。在儀器測量的實(shí)際運(yùn)行中提高了測量穩(wěn)定性和容錯(cuò)性。

參考文獻(xiàn)

[1] 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安電子科技大學(xué)出版社，1990.

第8篇

關(guān)鍵詞：樹葉識別；支持向量機(jī)；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號 TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）10-0194-03

Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.

Key words recognition leaves； SVM； convolutional neural network

1 概述

樹葉識別與分類在對于區(qū)分樹葉的種類，探索樹葉的起源，對于人類自身發(fā)展、科普具有特別重要的意義。目前的樹葉識別與分類主要由人完成，但，樹葉種類成千上萬種，面對如此龐大的樹葉世界，任何一個(gè)植物學(xué)家都不可能知道所有，樹葉的種類，這給進(jìn)一步研究樹葉帶來了困難。為了解決這一問題，一些模式識別方法諸如支持向量機(jī)（Support Vector Machine，SVM）[1]，K最近鄰（k-NearestNeighbor， KNN）[2]等被引入，然而，隨著大數(shù)據(jù)時(shí)代的到來，這些傳統(tǒng)分類算法暴露出越來越多的不足，如訓(xùn)練時(shí)間過長、特征不易提取等不足。

上世紀(jì)60年代開始，學(xué)者們相繼提出了各種人工神經(jīng)網(wǎng)絡(luò)[3]模型，其中卷積神經(jīng)網(wǎng)絡(luò)由于其對幾何、形變、光照具有一定程度的不變形，因此被廣泛應(yīng)用于圖像領(lǐng)域。其主要特點(diǎn)有：1）輸入圖像不需要預(yù)處理；2）特征提取和識別可以同時(shí)進(jìn)行；3）權(quán)值共享，大大減少了需要訓(xùn)練的參數(shù)數(shù)目，是訓(xùn)練變得更快，適應(yīng)性更強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)在國內(nèi)研究才剛剛起步。LeNet-5[4]就是一種卷積神經(jīng)網(wǎng)絡(luò)，最初用于手寫數(shù)字識別，本文研究將卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型改進(jìn)并應(yīng)用于樹葉識別中。本文首先介紹一下卷積神經(jīng)網(wǎng)絡(luò)和LeNet-5的結(jié)構(gòu)，進(jìn)而將其應(yīng)用于樹葉識別，設(shè)計(jì)了實(shí)驗(yàn)方案，用卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的模式識別算法支持向量機(jī)（SVM）進(jìn)行比較，得出了相關(guān)結(jié)論，并對進(jìn)一步研究工作進(jìn)行了展望。

2人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)方面的研究很早就已開展，現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成了多領(lǐng)域、多學(xué)科交叉的獨(dú)立的研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基本的單元是神經(jīng)元模型。類比生物神經(jīng)元，當(dāng)它“興奮”時(shí)，就會向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元的狀態(tài)。人工神經(jīng)元模型如圖1所示：

上述就是一個(gè)簡單的神經(jīng)元模型。在這個(gè)模型中，神經(jīng)元接收來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號，這些信號通過帶權(quán)重的w進(jìn)行傳遞，神經(jīng)元接收到的總輸入值將與神經(jīng)元的閾值進(jìn)行比較，然后通過“激活函數(shù)”來產(chǎn)生輸出。

一般采用的激活函數(shù)是Sigmoid函數(shù)，如式1所示：

[σz=11+e-z] （1）

該函數(shù)圖像圖2所示：

2.1多層神經(jīng)網(wǎng)絡(luò)

將上述的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來，就得到了如圖3所示的多層神經(jīng)網(wǎng)絡(luò)：

多層神經(jīng)網(wǎng)絡(luò)具有輸入層，隱藏層和輸出層。由于每一層之間都是全連接，因此每一層的權(quán)重對整個(gè)網(wǎng)絡(luò)的影響都是特別重要的。在這個(gè)網(wǎng)絡(luò)中，采用的訓(xùn)練算法是隨機(jī)梯度下降算法[5]，由于每一層之間都是全連接，當(dāng)訓(xùn)練樣本特別大的時(shí)候，訓(xùn)練需要的時(shí)間就會大大增加，由此提出了另一種神經(jīng)網(wǎng)絡(luò)―卷積神經(jīng)網(wǎng)絡(luò)。

2.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）由于在圖像分類任務(wù)上取得了非常好的表現(xiàn)而備受人們關(guān)注。發(fā)展到今天，CNN在深度學(xué)習(xí)領(lǐng)域已經(jīng)成為了一種非常重要的人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的核心在于通過建立很多的特征提取層一層一層地從圖片像素中找出關(guān)系并抽象出來，從而達(dá)到分類的目的，CNN方面比較成熟的是LeNet-5模型，如圖4所示：

在該LeNet-5模型中，一共有6層。如上圖所示，網(wǎng)絡(luò)輸入是一個(gè)28x28的圖像，輸出的是其識別的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)通過多個(gè)“卷積層”和“采樣層”對輸入信號進(jìn)行處理，然后在連接層中實(shí)現(xiàn)與輸出目標(biāo)之間的映射，通過每一層卷積濾波器提取輸入的特征。例如，LeNet-5中第一個(gè)卷積層由4個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)24x24的神經(jīng)元陣列。采樣層是基于對卷積后的“平面”進(jìn)行采樣，如圖所示，在第一個(gè)采樣層中又4的12x12的特征映射，其中每個(gè)神經(jīng)元與上一層中對應(yīng)的特征映射的2x2鄰域相連接，并計(jì)算輸出?？梢姡@種局部相關(guān)性的特征提取，由于都是連接著相同的連接權(quán)，從而大幅度減少了需要訓(xùn)練的參數(shù)數(shù)目[6]。

3實(shí)驗(yàn)研究

為了將LeNet-5卷積網(wǎng)絡(luò)用于樹葉識別并檢驗(yàn)其性能，本文收集了8類樹葉的圖片，每一類有40張照片，如圖5所示的一張樹葉樣本：

本文在此基礎(chǔ)上改進(jìn)了模型，使用了如圖6卷積神經(jīng)網(wǎng)絡(luò)模型：

在此模型中，第一個(gè)卷積層是由6個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)28*28的神經(jīng)元陣列，其中每個(gè)神經(jīng)元負(fù)責(zé)從5*5的區(qū)域通過卷積濾波器提取局部特征，在這里我們進(jìn)行了可視化分析，如圖7所示：

從圖中可以明顯地看出，卷積網(wǎng)絡(luò)可以很好地提取樹葉的特征。為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)分類算法之間的性能，本文基于Python語言，CUDA并行計(jì)算平臺，訓(xùn)練同樣大小8類，一共320張的一批訓(xùn)練樣本，采用交叉驗(yàn)證的方法，得到了如表1所示的結(jié)論。

可見，無論是識別率上，還是訓(xùn)練時(shí)間上，卷積網(wǎng)絡(luò)較傳統(tǒng)的支持向量機(jī)算法體現(xiàn)出更好地分類性能。

4 總結(jié)

本文從人工神經(jīng)網(wǎng)絡(luò)出發(fā)，重點(diǎn)介紹了卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5在樹葉識別上的各種研究并提取了特征且進(jìn)行了可視化，并與傳統(tǒng)分類算法SVM進(jìn)行比較。研究表明，該模型應(yīng)用在樹葉識別上較傳統(tǒng)分類算法取得了較好的結(jié)果，對收集的樹葉達(dá)到了92%的準(zhǔn)確率，并大大減少了訓(xùn)練所需要的時(shí)間。由于卷積神經(jīng)網(wǎng)絡(luò)有如此的優(yōu)點(diǎn)，因此在人臉識別、語音識別、醫(yī)療識別、犯罪識別方面具有很廣泛的應(yīng)用前景。

本文的研究可以歸納為探討了卷積神經(jīng)網(wǎng)絡(luò)在樹葉識別上的效果，并對比了傳統(tǒng)經(jīng)典圖像分類算法，取得了較好的分類精度。

然而，本文進(jìn)行實(shí)驗(yàn)的樣本過少，當(dāng)數(shù)據(jù)集過多的時(shí)候，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)算法的可行性有待我們進(jìn)一步的研究；另外，最近這幾年，又有很多不同的卷積神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)，我們會繼續(xù)試驗(yàn)其他的神經(jīng)網(wǎng)絡(luò)模型，力求找到更好的分類算法來解決樹葉識別的問題。

參考文獻(xiàn)：

[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.

[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.

[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.

[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

第9篇

關(guān)鍵字：神經(jīng)網(wǎng)絡(luò)；粒子群；信息共享；全局搜索；尋優(yōu)

中圖法分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

從20 世紀(jì) 80 年代中期以來，神經(jīng)網(wǎng)絡(luò)以其好的自組織與自學(xué)習(xí)的獨(dú)特優(yōu)勢，現(xiàn)已廣泛地應(yīng)用于通信領(lǐng)域[1-3]。但通過研究現(xiàn)有的神經(jīng)網(wǎng)絡(luò)則不難發(fā)現(xiàn)，該系統(tǒng)在實(shí)際運(yùn)用中過度依賴于訓(xùn)練算法與初始權(quán)值，從而導(dǎo)致算法陷入了局部的最優(yōu)化；為此，人們提出了許多解決方案[4-7]。其中，基于粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)算法尤為突出；算法通過結(jié)合群體中粒子間的合作與競爭關(guān)系，來促使網(wǎng)絡(luò)群體的智能尋優(yōu)；這在很大程度上解決了算法的局部最優(yōu)化問題[8-9]。但在實(shí)際的運(yùn)用過程中，又進(jìn)一步發(fā)現(xiàn)，算法依然存在需要改進(jìn)的地方，即網(wǎng)絡(luò)的適用性較小且精度不高等問題。

為此，本文提出了一種具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法。算法依據(jù)神經(jīng)網(wǎng)絡(luò)與粒子群算法的特點(diǎn)[10]，將神經(jīng)網(wǎng)絡(luò)算法與粒子群算法有機(jī)地結(jié)合在一起，并通過兩者間的互補(bǔ)，來提高網(wǎng)絡(luò)的整體效率。研究中為了避免算法出現(xiàn)局部最優(yōu)化問題，本文對網(wǎng)絡(luò)中的搜索粒子進(jìn)行了速度的約束；而后，為保證算法的穩(wěn)定性與精確性，又對網(wǎng)絡(luò)的搜索進(jìn)行了約束，由此而保障每一網(wǎng)絡(luò)路徑的有效暢通。經(jīng)由仿真實(shí)驗(yàn)，該算法能夠獲得相比其他算法更高的精度，且其實(shí)際應(yīng)用性也更強(qiáng)。

1. 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過模仿動物的行為特征，進(jìn)而實(shí)現(xiàn)分布式并行信息處理；這一方法有效地解決了網(wǎng)絡(luò)的信息傳輸問題，通過依靠網(wǎng)絡(luò)系統(tǒng)的復(fù)雜程度與各節(jié)點(diǎn)的連通性，實(shí)現(xiàn)了大量數(shù)據(jù)的傳輸問題[11]。其中，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大致可以分為三層，即輸入層，隱含層以及輸出層。

假設(shè) 為輸入層到隱層的連接權(quán)重， 為隱層到輸出層的連接權(quán)重，其中 ， 。其數(shù)據(jù)傳輸原理與結(jié)構(gòu)圖如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Neural network structure diagram

在圖1的神經(jīng)網(wǎng)絡(luò)中，隱層函數(shù)如式（1）所示：

（1）

輸出層函數(shù)如式（2）所示：

（2）

其中， 為隱層的輸入，而 為隱層的輸出； 為輸出層的輸入，而 為輸出層的輸出。 表示輸出層的輸入與輸出間的傳遞函數(shù)，而 表示隱層的輸入信號進(jìn)行的小波變換。

2粒子群優(yōu)化的網(wǎng)絡(luò)均衡處理

2.1 初始化

初始化粒子在當(dāng)前網(wǎng)絡(luò)中的所在位置，令其在最初就以隨機(jī)分布的方向進(jìn)行定義，即 ，其中每個(gè)隨機(jī)產(chǎn)生的粒子 都代表一個(gè)均衡器的一個(gè)權(quán)向量。同時(shí)再令初始位置為 ，初始速度為 ；為了便于后文的計(jì)算，在此，定義 為當(dāng)前網(wǎng)絡(luò)中的局部極值；而 則是代表當(dāng)前網(wǎng)絡(luò)中的全局極值。

2.2 速度和位置更新

速度與位置的更新在粒子群優(yōu)化（PSO）算法中是至重要的參數(shù)指標(biāo)項(xiàng)。為此，本文提出一個(gè)局部與全局的最佳粒子的搜索信息傳遞速度與位置更新函數(shù)，如式（3）所示。

（3）

其中， 為粒子速度的n個(gè)維度， 為0到1之間的隨機(jī)數(shù)， 為比例因子，而 、 為局部最佳粒子 與全局最佳粒子 的擴(kuò)展因數(shù)?；诖耍瑸榱吮ＷC其搜索的準(zhǔn)度，對粒子的速度進(jìn)行了限制，即當(dāng)搜索的粒子速度超過設(shè)計(jì)的限定速度時(shí)，將對速度進(jìn)行抑制，其方法的表達(dá)函數(shù)為：

（4）

2.3 網(wǎng)絡(luò)的約束

本文采用網(wǎng)絡(luò)的覆蓋概率和寬度間隔對當(dāng)前網(wǎng)絡(luò)進(jìn)行評價(jià)，具體求取方式論述如下。

2.3.1區(qū)間的覆蓋概率

網(wǎng)絡(luò)的覆蓋概率（ ）是衡量網(wǎng)絡(luò)適應(yīng)與否的指標(biāo)， 可做如下定義：

（5）

其中，m×n是樣品數(shù)量；當(dāng) ，目標(biāo) ；其他的情況下， ，而 、 則為目標(biāo)的最小值與最大值。

2.3.2 區(qū)間的寬度間隔

在時(shí)間間隔寬度足夠長的情況下，網(wǎng)絡(luò)的覆蓋概率會較少。但如果其間隔過寬，卻又會導(dǎo)致資源的浪費(fèi)，為此，本文對預(yù)測區(qū)間內(nèi)的寬度間隔進(jìn)行定義，計(jì)算公式如下：

（6）

其中，R為潛在目標(biāo)的范圍。

而對于方根誤差，本文則是用于評價(jià)器成功演繹訓(xùn)練來的指標(biāo)，通過對預(yù)測區(qū)間內(nèi)歸一化的方根寬度進(jìn)行定義，來提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練的效果，其定義函數(shù)如下。

（7）

2.3.3 約束條件

在實(shí)際的運(yùn)用中，上述提及的覆蓋概率與寬度間隔存在一定的矛盾關(guān)聯(lián)，為此需要進(jìn)行制衡匹配，來提高網(wǎng)絡(luò)的整體處理效果。本文中，使用的寬度標(biāo)準(zhǔn)如下所示。

（8）

其中，訓(xùn)練滿足 ；但作為測試樣品時(shí)， 為階躍函數(shù)，并需滿足如下條件。

其中， 、 皆為常數(shù)，用于懲罰網(wǎng)絡(luò)覆蓋現(xiàn)象的發(fā)生。

3仿真算法

為驗(yàn)證算法的可行性，本文在Matlab 2014a 軟件環(huán)境下進(jìn)行測試，并進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)中選用的對比算法有傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法與文獻(xiàn)[12]中的算法；同時(shí)又選用兩種不同的信道進(jìn)行測試，具體傳輸函數(shù)如下所示。

電話信道：

普通信道：

為檢驗(yàn)算法的精度，本文選用誤碼率進(jìn)行算法的評價(jià)，通過采用上述指定的算法進(jìn)行測試，測試中以正方形曲線代表傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，圓形曲線代表文獻(xiàn)算法，而三角形圖像代表本文算法。實(shí)驗(yàn)仿真結(jié)果如圖2、圖3所示。

圖2電話信道下的誤碼率

Fig.2 Bit error rate in telephone channel

圖3 普通信道下的誤碼率

Fig.3 Bit error rate under common channel

由圖2、圖3可看到，在兩種不同的信道下，本文算法的誤碼率曲線始終保持在另外兩種算法的下方；其中在電話信道下，本文算法隨著信噪比的不斷增強(qiáng)的影響，其誤碼率減少為了、最大；而在普通信道下，本文算法與文獻(xiàn)算法所測誤碼率相接近，但本文算法始終保持在其下方。由仿真測試可知，測試過程有效證明了算法精度，且與其他算法相比更加適用于信道較復(fù)雜的網(wǎng)絡(luò)。

4 結(jié)束語

提出了一種提升網(wǎng)絡(luò)精度的神經(jīng)網(wǎng)絡(luò)均衡算法，該算法通過結(jié)合粒子群的特性，利用粒子的速度來避免粒子速度過大的造成的數(shù)據(jù)丟失現(xiàn)象；最后，根據(jù)網(wǎng)絡(luò)的區(qū)間覆蓋率與間隔寬度等條件對網(wǎng)絡(luò)進(jìn)行尋優(yōu)約束；經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法具有較好的搜索精度，但在算法的搜索效率方面仍有較大的提升空間，這將作為下一步的研究方向，用于開展深入研究。

參考文獻(xiàn)

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

第10篇

關(guān)鍵詞：全卷積神經(jīng)網(wǎng)絡(luò)；顯著性預(yù)測；縮略圖生成

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）14-0149-02

1概述

縮略圖是一種經(jīng)壓縮方式處理后的圖片，在小尺度下包含了原圖像大部分有效信息，可廣泛應(yīng)用于圖像快速索引、網(wǎng)頁超鏈接等多個(gè)領(lǐng)域。目前相關(guān)算法多采用固定分辨率縮放及中央裁剪等固定規(guī)則進(jìn)行縮略圖生成，而忽視圖像自身具有的內(nèi)容信息。為提高縮略圖攜帶的有效信息，該文利提出一種利用全卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行顯著性預(yù)測，再由顯著點(diǎn)密度自動獲取圖像中包含最有意義信息的區(qū)域進(jìn)行截取，進(jìn)而生成圖像內(nèi)容相關(guān)縮略圖的算法。

2算法設(shè)計(jì)

為生成面向圖像信息的自適應(yīng)縮略圖，該方法由兩部分組成。第一部分為圖像識別模塊，主要工作是得到圖像的顯著性圖；第二部分為自適應(yīng)滑動窗口模塊，主要工作是得到窗口內(nèi)平均顯著度最強(qiáng)的窗口坐標(biāo)。

2.1顯著性A測

該文在縮略圖截取區(qū)域識別階段采用顯著性預(yù)測算法作為識別手段。顯著性預(yù)測是目前非?；钴S并正在不斷取得突破性進(jìn)展的機(jī)器視覺領(lǐng)域下的一個(gè)子領(lǐng)域，是一種模擬人類注意力機(jī)制的算法。其主要目標(biāo)是對圖像（畫面）中吸引人注意的地方（顯著性區(qū)域）進(jìn)行自動的識別與提取，并生成與輸入圖像尺度對應(yīng)的一張灰度圖。其生成的灰度圖中的高亮度區(qū)域代表具有顯著性物體，如汽車、人臉、字母等，并且服從高斯分布。根據(jù)特征融合理論（Feature Integration Theory），目前已有多種基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性預(yù)測算法被提出（如DeepFix、SALICON等），并極大的提高了顯著性識別的精度。

2.2卷積神經(jīng)網(wǎng)絡(luò)概述

為生得到面向內(nèi)容的縮略圖截取坐標(biāo)，首先需要對圖像內(nèi)容進(jìn)行識別，并對圖像每個(gè)區(qū)域的重要程度進(jìn)行分類。近年來由于GPU并行運(yùn)算性能的突破性進(jìn)步以及基于大數(shù)據(jù)技術(shù)的訓(xùn)練數(shù)據(jù)集擴(kuò)充，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neu-ral Networks，DCNNs）在包括圖像識別、目標(biāo)跟蹤及顯著性預(yù)測等多個(gè)圖像處理領(lǐng)域上的任務(wù)都取得了極大的提升。而預(yù)訓(xùn)練參數(shù)（Pretraining）與轉(zhuǎn)移學(xué)習(xí)（Transfer Learning）等技術(shù)進(jìn)一步提升了CNNs在多項(xiàng)圖像處理任務(wù)中的泛化能力及可用性，因此該文采用截?cái)郪GG19模型為預(yù)訓(xùn)練網(wǎng)絡(luò)，進(jìn)行顯著點(diǎn)識別及縮略圖。全卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)類似，均采用梯度下降算法對權(quán)值進(jìn)行更新。不同點(diǎn)在于，全卷積神經(jīng)網(wǎng)絡(luò)每次更新的值包括卷積核的值以及該卷積核的權(quán)值。

2.3網(wǎng)絡(luò)結(jié)構(gòu)

該文所采用的全卷積神經(jīng)網(wǎng)絡(luò)采用截?cái)嗟腣GGl9預(yù)訓(xùn)練模型的前10層組成。VGGl9由進(jìn)行圖像識別（物體分類）的ImageNet數(shù)據(jù)集訓(xùn)練而成，可精確識別數(shù)據(jù)集中1000中物體分類，故其所學(xué)習(xí)的卷積核參數(shù)包含有豐富的物體信息。

其中網(wǎng)絡(luò)的具體成分主要由10層卷積模塊及3層最大池化層組成，而卷積模塊依次由一層卷積層，一層批量歸一化層以及一層ReLU（Rectified Linear Unit）激活函數(shù)層組成。其中前8層卷積層由普通3×3大小，1×1步長的卷積核組成，后兩層卷積層由帶2×2洞的3×3大小（故實(shí)際感受野為5×5），步長1×1的卷積核組成。

網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.4縮略圖生成

由全卷積神經(jīng)網(wǎng)絡(luò)識別并得到的顯著性圖為灰度值為0-255的灰度圖，大的灰度值代表高顯著性激活度。在得到對應(yīng)圖像的顯著性圖之后，方法采用步長為10像素的滑動窗口對顯著性圖進(jìn)行遍歷，并選擇所窗口內(nèi)激活程度最高的區(qū)域所處坐標(biāo)作為縮略圖截取坐標(biāo)。對于有多個(gè)相同激活值的區(qū)域則選取距離圖像中心最近的區(qū)域所處坐標(biāo)為縮略圖截取坐標(biāo)。最后通過對原始輸入圖像中對應(yīng)縮略圖截取坐標(biāo)進(jìn)行截取，得到最終縮略圖。

3實(shí)驗(yàn)設(shè)計(jì)

根據(jù)算法流程，該方法中實(shí)驗(yàn)設(shè)計(jì)也可分為兩部分：第一部分為訓(xùn)練用于得到顯著點(diǎn)坐標(biāo)的全卷積神經(jīng)網(wǎng)絡(luò)，第二部分為設(shè)計(jì)并實(shí)現(xiàn)基于顯著性圖的動態(tài)步長滑動窗口方法。

3.1網(wǎng)絡(luò)參數(shù)及訓(xùn)練數(shù)據(jù)設(shè)置

該方法訓(xùn)練數(shù)據(jù)選自開放數(shù)據(jù)集MIT1003及SALI-CONt31。實(shí)驗(yàn)采用批量訓(xùn)練方法，每批數(shù)據(jù)由128個(gè)樣本組成，共訓(xùn)練2000個(gè)批次。網(wǎng)絡(luò)采用絕對平均誤差（Mean AbsoluteError，MAE）為損失函數(shù)（如公式1所示），并采用改進(jìn)的梯度下降算法Adam算法進(jìn)行權(quán)值更新，以提高網(wǎng)絡(luò)魯棒性及收斂性。網(wǎng)絡(luò)收斂曲線如圖2所示。

3.2滑動窗口設(shè)計(jì)

在得到輸入圖像的顯著性圖之后，所提方法通過滑動窗口截取縮略圖，并通過自適應(yīng)步長降低算法的時(shí)間復(fù)雜度。自適應(yīng)步長通過由當(dāng)前窗口內(nèi)顯著性圖的平均激活值得到。步長的最大分辨率為40像素，最小分辨率為5像素，當(dāng)當(dāng)前窗口內(nèi)平均激活值小于預(yù)設(shè)閾值時(shí)，下一次窗口的滑動步長增加為當(dāng)前步長2倍，直至增大到最大分辨率步長。當(dāng)當(dāng)前窗口呢平均激活值大于預(yù)設(shè)閾值時(shí)，則每一次滑動減小位原步長的1/2，直至衰減到最小分辨率步長。

3.3實(shí)驗(yàn)結(jié)果

在驗(yàn)證及測試階段，采用的測量標(biāo)準(zhǔn)為AUC-Judd，相關(guān)系數(shù)（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。訓(xùn)練收斂后以以上測量標(biāo)準(zhǔn)在MIT1003數(shù)據(jù)集上進(jìn)行了驗(yàn)證測試，所得結(jié)果如表一所示。表一表面該方法在顯著性預(yù)測上超過了傳統(tǒng)方法，取得了較好的結(jié)果。

圖3對所提方法得到的縮略圖進(jìn)行了直觀展示。從中可知所提方法在縮略圖生成的過程中對圖像本身信息進(jìn)行了有效提取且得到了有效的顯著性圖，并由該顯著性圖通過滑動窗口得到了縮略圖所需的正確截取坐標(biāo)。最后得到的縮略圖對于原圖像本身信息具有高代表性，且并未損失分辨率信息。

第11篇

Abstract： By modeling and neural network， we built the prediction system of genetic neural network. Through a comprehensive analysis of various factors of vibrator and fusion， genetic algorithm is used to copy， exchange， so the prediction system can greatly improve the convergence speed， its use and practical engineering using strong.

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)；振沖器；預(yù)測；算法

Key words： nerve net；vibrating equipment；forecast；arithmetic

中圖分類號：TU473.1 文獻(xiàn)標(biāo)識碼：A 文章編號：1006-4311（2013）23-0047-02

1 振沖器性能預(yù)測原理

振沖器原理；振沖器是借助于偏心塊在定軸旋轉(zhuǎn)時(shí)的離心力，使整個(gè)振沖器產(chǎn)生具有一定頻率和振幅的激振力，對軟弱地基進(jìn)行加固處理。用振動輔以壓力水加密砂土的概念，最早是由德國的斯徒門在1936年提出的。1937年德國凱勒（J·Keller）公司研制成功第一臺振沖器如圖1和圖2。在三十年代和四十年代初，就開始用這種機(jī)具加固砂性地基。六十年代，德國和英國相繼有人將這一加固技術(shù)應(yīng)用到粘性土地基的加固中。隨后，在美國成立了振沖工程技術(shù)公司，承包一些工程。同時(shí)日本和蘇聯(lián)也引進(jìn)了這一技術(shù)，如蘇聯(lián)在埃及尼羅河上修建的阿斯旺水壩就采用了振沖法加固壩基。七十年代，我國也引進(jìn)了該項(xiàng)技術(shù)，并在許多軟基加固工程中得到應(yīng)用[1-3]。

大量工程實(shí)踐表明，振沖器的性能參數(shù)（振頻、振幅和激振力等）對加固的效果影響較大。但怎樣恰當(dāng)?shù)倪x擇最優(yōu)參數(shù)，以獲得最佳的加固效果，是振沖器設(shè)計(jì)的關(guān)鍵。因此將這些影響因素融合分析，在不同的工況下，會使得振沖器產(chǎn)生不同的工作性能。并且振密電流，振沖水壓，留振時(shí)間等也反映出振沖器的優(yōu)劣性質(zhì)。所以我們應(yīng)用遺傳神經(jīng)網(wǎng)絡(luò)方法完成振沖器性能的預(yù)測顯得比較關(guān)鍵和重要。

振沖器一般由激振器、減震器和潛水電機(jī)組成[4]。

偏心塊以等角速度？棕旋轉(zhuǎn)，其質(zhì)心O'與轉(zhuǎn)軸軸心O存在偏心距e。旋轉(zhuǎn)時(shí)，激振力使得振沖器產(chǎn)生間歇振動。[4]

OC是激振器的振幅，其質(zhì)心C的運(yùn)動方程為：

Xc=OC·cos？棕t（1）

Yc=OC·sin？棕t（2）

由于激振器做等角速度轉(zhuǎn)動，根據(jù)平衡方程，振幅A應(yīng)該是：

A=OC=■·e（cm）（3）

公式中e為偏塊質(zhì)心的偏心距，W為偏心塊的重量，Q為激振器殼體部分總重量

如果將振沖器在土體的振動視為有粘性阻尼的單自由度的強(qiáng)迫振動，其振幅為：

A=■（m）（4）

其中？棕Z為土體自轉(zhuǎn)原頻率；DZ為土體阻尼比。

2 神經(jīng)網(wǎng)絡(luò)算法[1]

2.1 神經(jīng)網(wǎng)絡(luò)基本原理 BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層組成。對于N各集合{（x（t），y（t））|x∈RM，y∈RN，t=1，2，…N}的離散時(shí)間序列，BP網(wǎng)絡(luò)可以完成從輸入到輸出的非線性映射，使得F：RMRN[1]。其中，隱含層可以是一層也可以是多層。

從結(jié)構(gòu)講，三層BP網(wǎng)絡(luò)是一個(gè)典型的半線性層次網(wǎng)絡(luò)。此法的思路：先通過神經(jīng)元向前發(fā)送輸入模式，然后計(jì)算理想輸出與實(shí)際輸出的誤差，將其看作連接層各連接點(diǎn)的誤差，通過輸出反向到輸入層再分?jǐn)偨o各節(jié)點(diǎn)，從而可以算出各個(gè)節(jié)點(diǎn)的參考誤差，并且對各個(gè)節(jié)點(diǎn)進(jìn)行調(diào)整，使得達(dá)到要求的映射范圍。通過多次不斷的迭代，使得誤差不斷減小，直到獲得期望的輸出，網(wǎng)絡(luò)訓(xùn)練即為結(jié)束[6-7]。

2.2 振沖器性能指標(biāo)模型建模 神經(jīng)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)為多輸入、多輸出結(jié)構(gòu)[5]。網(wǎng)絡(luò)結(jié)構(gòu)為6-4-5，輸入層單元數(shù)為選擇的參數(shù)單元的個(gè)數(shù)，即為動力矩、頻率、電機(jī)功率、偏心距、自由振幅、振動加速度；輸出層為振沖作業(yè)的深度、樁徑要求、振沖器的功率、振密電流、留振時(shí)間5個(gè)單元。隱層為1層，經(jīng)驗(yàn)證隱層的單元數(shù)目為4個(gè)。

采用遺產(chǎn)算法的交換、復(fù)制過程，來代替BP算法過程，可以加快了收斂的速度，但也可能是會造成收斂性過早，所以我們改進(jìn)一些措施，來提高算法的指標(biāo)：

（1）將網(wǎng)絡(luò)中的輸入層與隱含層、隱含層與輸出層之間的權(quán)值以及節(jié)點(diǎn)處閾值按權(quán)值優(yōu)先的原則進(jìn)行排列成網(wǎng)絡(luò)。

（2）BP網(wǎng)絡(luò)中權(quán)重參數(shù)的調(diào)整是沿著誤差函數(shù)的梯度方向下降，但由于此種方法偏離的誤差的最小點(diǎn)方向，采取變梯度算法的第一次迭代都是沿著最陡梯度下降方向開始進(jìn)行搜索的。采用最佳距離的線性搜索是沿著當(dāng)前搜索的方向進(jìn)行。

（3）神經(jīng)網(wǎng)絡(luò)遺傳算法中個(gè)體復(fù)制是依據(jù)適應(yīng)性的原則，適應(yīng)性大的進(jìn)行復(fù)制，小的剔除。

復(fù)制的概率公式：

Pr=Ar1-1/■+■[3]（5）

（4）交換是產(chǎn)生新個(gè)體的主要手段。但是隨機(jī)選擇會產(chǎn)生操作結(jié)果的隨機(jī)性，可能使得有效因子缺失，從而使得搜索最優(yōu)解的時(shí)間延長。所以，系統(tǒng)的交換概率根據(jù)遺傳過程中每二代差異及每代內(nèi)各個(gè)連接單元的相似程度動態(tài)調(diào)整交換率，調(diào)整公式為：

Pc=Ac1■+Ac2（1.2-Bk/Ba）（6）

在公式（5）和公式（6）中AK為計(jì)算的單元個(gè)體適應(yīng)度，Ba為整體中適應(yīng)度相對較好的前一半的個(gè)體適應(yīng)度，Ac1和Ac2是交換系數(shù)，Ar1和Ar2是復(fù)制系數(shù)。

3 算例

檢測50組數(shù)據(jù)作為訓(xùn)練樣本及10組數(shù)據(jù)用于網(wǎng)絡(luò)性能測試。每組數(shù)據(jù)由動力矩、激振力、電機(jī)功率、頻率四個(gè)參數(shù)組成，作為神經(jīng)網(wǎng)絡(luò)的輸入；神經(jīng)網(wǎng)絡(luò)的輸出為振沖器及施工做出的樁體的預(yù)測結(jié)果，分別為短路、串樁、堵孔、正常、填料量少等5個(gè)單元。

試驗(yàn)結(jié)果和預(yù)測如表2，系統(tǒng)經(jīng)356次迭代，代入試驗(yàn)樣本檢驗(yàn)，正確率為90%；未修正的方法需迭代740次，正確率為85%，所以此方法迭代快，準(zhǔn)確率高。

4 結(jié)論

①通過不同的影響因素綜合分析，可以有效的預(yù)測振沖器的工作性能。②此方法的預(yù)測系統(tǒng)，使得預(yù)測時(shí)間縮短，節(jié)約時(shí)間，有一定的實(shí)際意義和利用價(jià)值。③應(yīng)用改進(jìn)的方法后，預(yù)測結(jié)果成功率在一定程度上有所提高。

參考文獻(xiàn)：

[1]Martin T Hagan ，Howard B Demuth ，Mark H Beale.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M].戴葵，伯民，譯.北京：機(jī)械工業(yè)出版社，2002：214.

[2]董恩國. 基于遺傳神經(jīng)網(wǎng)絡(luò)算法的發(fā)動機(jī)性能預(yù)測[J]. 起重運(yùn)輸機(jī)械，2005（9）.

[3]楊振強(qiáng)，王常虹.自適應(yīng)復(fù)制、交叉和突變的遺傳算法[J].電子科學(xué)學(xué)刊，2000（1）：112-117.

[4]孫述祖.振沖器參數(shù)的研究分析[J].建筑機(jī)械，1987（07）.

[5]施鴻寶.神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1西安：西安交通大學(xué)出版社， 1993.

第12篇

關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自組織學(xué)習(xí)

Fast self-organizing learning algorithm based on EKF for fuzzy neural network

ZHOU Shang-bo，LIU Yu-jiong

(College of Computer Science， Chongqing University， Chongqing 400044， China)

Abstract:To construct an effective fuzzy neural network， this paper presented a self-organizing learning algorithm based on extended Kalman filter for fuzzy neural network. In the algorithm， the network grew rules according to the proposed growing criteria without pruning， speeding up the online learning process.All the free parameters were updated by the extended Kalman filter approach and the robustness of the network was obviously enhanced. The simulation results show that the proposed algorithm can achieve fast learning speed， high approximation precision and generation capability.

Key words:fuzzy neural network; extended Kalman filter(EKF); self-organizing learning

模糊神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)80年代后期的日本，由于其簡單、實(shí)用，已經(jīng)被廣泛應(yīng)用在工業(yè)控制、系統(tǒng)辨識、模式識別、數(shù)據(jù)挖掘等許多領(lǐng)域[1~4]。然而，如何從可用的數(shù)據(jù)集和專家知識中獲取合適的規(guī)則數(shù)仍然是一個(gè)尚未解決的問題。為了獲取模糊規(guī)則，研究人員提出了不同的算法，如文獻(xiàn)[5]利用正交最小二乘算法確定徑向基函數(shù)的中心，但是該算法訓(xùn)練速度比較慢;文獻(xiàn)[6]提出了基于徑向基函數(shù)的自適應(yīng)模糊系統(tǒng)，其算法使用了分層自組織學(xué)習(xí)策略，但是逼近精度低。擴(kuò)展卡爾曼濾波(EKF)算法作為一種非線性更新算法，在神經(jīng)網(wǎng)絡(luò)中得到了廣泛應(yīng)用。文獻(xiàn)[7]利用擴(kuò)展卡爾曼濾波算法調(diào)整多層感知器的權(quán)值，文獻(xiàn)[8]利用擴(kuò)展卡爾曼濾波算法調(diào)整徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。

本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自組織學(xué)習(xí)算法(SFNN)。該算法基于無須修剪過程的生長準(zhǔn)則增加模糊規(guī)則，加速了網(wǎng)絡(luò)學(xué)習(xí)過程，同時(shí)使用EKF調(diào)整網(wǎng)絡(luò)的參數(shù)。在該算法中，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不是預(yù)先設(shè)定的，而是在學(xué)習(xí)過程中動態(tài)變化的，即在學(xué)習(xí)開始前沒有一條模糊規(guī)則，在學(xué)習(xí)過程中逐漸增加模糊規(guī)則。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比，本算法所得到的模糊規(guī)則數(shù)并不會隨著輸入變量的增加而呈指數(shù)增長，特別是本算法無須領(lǐng)域的專家知識就可以實(shí)現(xiàn)對系統(tǒng)的自動建模及抽取模糊規(guī)則。當(dāng)然，如果設(shè)計(jì)者是領(lǐng)域?qū)＜?，其知識也可以直接用于系統(tǒng)設(shè)計(jì)。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)小、避免出現(xiàn)過擬合現(xiàn)象等特點(diǎn)。

1 SFNN的結(jié)構(gòu)

本文采用與文獻(xiàn)[9]相似的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。其中，r是輸入變量個(gè)數(shù);?x?i(i=1，2，…，r)是輸入語言變量;y是系統(tǒng)的輸出;MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù);R?j表示第j條模糊規(guī)則;w?j是第j條規(guī)則的結(jié)果參數(shù);u是系統(tǒng)總的規(guī)則數(shù)。

下面是對該網(wǎng)絡(luò)各層含義的詳細(xì)描述。

第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語言變量。

第二層:隸屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬函數(shù)，隸屬函數(shù)采用如下的高斯函數(shù):

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r; j=1，2，…，u(1)

其中:r是輸入變量數(shù);u是隸屬函數(shù)個(gè)數(shù)，也代表系統(tǒng)的總規(guī)則數(shù);μij是x?i的第j個(gè)高斯隸屬函數(shù);cij是x?i的第j個(gè)高斯隸屬函數(shù)的中心;σij是x?i的第j個(gè)高斯隸屬函數(shù)的寬度。

第三層:T-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分，也代表一個(gè)RBF單元，該層節(jié)點(diǎn)個(gè)數(shù)反映了模糊規(guī)則數(shù)。如果計(jì)算每個(gè)規(guī)則觸發(fā)權(quán)的T-范數(shù)算子是乘法，則在第三層中第j條規(guī)則R?j的輸出為

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量，該輸出是所有輸入變量的疊加。

y(X)=?uj=1w?jφ?j(3)

其中:y是網(wǎng)絡(luò)的輸出;w?j是Then-部分。

2 SFNN的學(xué)習(xí)算法

如前文所述，第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分或者一個(gè)RBF單元。如果需要辨識系統(tǒng)的模糊規(guī)則數(shù)，則不能預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。于是，本文提出一種新的學(xué)習(xí)算法，該算法可以自動確定系統(tǒng)的模糊規(guī)則并能達(dá)到系統(tǒng)的特定性能。

2.1 模糊規(guī)則的產(chǎn)生準(zhǔn)則

在模糊神經(jīng)網(wǎng)絡(luò)中，如果模糊規(guī)則數(shù)太多，不僅增加系統(tǒng)的復(fù)雜性，而且增加計(jì)算負(fù)擔(dān)和降低網(wǎng)絡(luò)的泛化能力;如果規(guī)則數(shù)太少，系統(tǒng)將不能完全包含輸入/輸出狀態(tài)空間，將降低網(wǎng)絡(luò)的性能。是否加入新的模糊規(guī)則取決于系統(tǒng)誤差、可容納邊界和誤差下降率三個(gè)重要因素。

2.1.1 系統(tǒng)誤差

誤差判據(jù):對于第i個(gè)觀測數(shù)據(jù)(x?i，t?i)，其中x?i是輸入向量，t?i是期望輸出，由式(3)計(jì)算網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的全部輸出y?i。

定義:e?i=t?i-y?i;i=1，2，…，n(4)

如果e?i>k?e k?e=max[emax×β?i，emin](5)

則說明網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的性能比較差，要考慮增加一條新的規(guī)則;否則，不生成新規(guī)則。其中:k?e是根據(jù)網(wǎng)絡(luò)期望的精度預(yù)先選擇的值;emax是預(yù)定義的最大誤差;emin是期望的輸出精度;β(0

2.1.2 可容納邊界

從某種意義上來講，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)是對輸入空間的高效劃分。模糊神經(jīng)網(wǎng)絡(luò)的性能和結(jié)構(gòu)與輸入隸屬函數(shù)緊密相關(guān)。本文使用的是高斯隸屬函數(shù)，高斯函數(shù)輸出隨著與中心距離的增加而單調(diào)遞減。當(dāng)輸入變量采用高斯隸屬函數(shù)時(shí)，則認(rèn)為整個(gè)輸入空間由一系列高斯隸屬函數(shù)所劃分。如果某個(gè)新樣本位于某個(gè)已存在的高斯隸屬函數(shù)覆蓋范圍內(nèi)，則該新樣本可以用已存在的高斯隸屬函數(shù)表示，不需要網(wǎng)絡(luò)生成新的高斯單元。

可容納邊界:對于第i個(gè)觀測數(shù)據(jù)(x?i，t?i)，計(jì)算第i個(gè)輸入值x?i與已有RBF單元的中心c?j之間的距離d?i(j)，即

d?i(j)=x?i-c?j;i=1，2，…，n; j=1，2，…，u(6)

其中:u是現(xiàn)有的模糊規(guī)則或RBF單元的數(shù)量。令

di，min=arg min(d?i(j))(7)

如果di，min>k?d，k?d=max[dmax×γ?i，dmin](8)

則說明已存在的輸入隸屬函數(shù)不能有效地劃分輸入空間。因此，需要增加一條新的模糊規(guī)則，否則，觀測數(shù)據(jù)可以由已存在的距離它最近的RBF單元表示。其中:k?d是可容納邊界的有效半徑;dmax是輸入空間的最大長度;dmin是所關(guān)心的最小長度;γ(0

2.1.3 誤差下降率

傳統(tǒng)的學(xué)習(xí)算法把誤差減少率(ERR)[5]用于網(wǎng)絡(luò)生長后的修剪過程，算法會因?yàn)樾藜暨^程而增加計(jì)算負(fù)擔(dān)，降低學(xué)習(xí)速度。本文把誤差減少率用于生長過程形成一種新的生長準(zhǔn)則，算法無須經(jīng)過修剪過程，從而加速網(wǎng)絡(luò)的學(xué)習(xí)過程。

給定n個(gè)輸入/輸出數(shù)據(jù)對(x?i，t?i)，t=1，2，…，n，把式(3)看做線性回歸模型的一種特殊情況，該線性回歸模型為

t(i)=?uj=1h?j(i)θ?j+ε(i)(9)

式(9)可簡寫為

D=HΘ+E(10)

D=T?T∈R?n是期望輸出，H=φ?T∈R??n×u是回歸量，Θ=?W?T∈R?u是權(quán)值向量，并且假設(shè)E∈R?n是與回歸量不相關(guān)的誤差向量。

對于矩陣φ，如果它的行數(shù)大于列數(shù)，通過QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p?1，p?2，…，p?u]∈R??n×u，其維數(shù)與H的維數(shù)相同，各列向量構(gòu)成正交基，Q∈R??u×u是一個(gè)上三角矩陣。通過這一變換，有可能從每一基向量計(jì)算每一個(gè)分量對期望輸出能量的貢獻(xiàn)。把式(11)代入式(10)?可得

D=PQΘ+E=PG+E(12)

G的線性最小二乘解為G=(P?TP)??-1P?TD，或

g?k=p?T?kDp?T?kp?k;k=1，2，…，u(13)

Q和Θ滿足下面的方程:

QΘ=G(14)

當(dāng)k≠l時(shí)，p?k和p?l正交，D的平方和由式(15)給出:

D?TD=?uk=1g?2?kp?T?kp?k+E?TE(15)

去掉均值后，D的方差由式(16)給出:

n??-1D?TD=n??-1?uk=1g?2?kp?T?kp?k+n??-1E?TE(16)

由式(16)可以看到，n??-1?uk=1g?2?kp?T?kp?k是由回歸量p?k所造成的期望輸出方差的一部分。因此，p?k的誤差下降率可以定義如下:

err?k=g?2?kp?T?kp?kD?TD，1≤k≤u(17)

把式(13)代入式(17)可得

err?k=(p?T?kD)?2p?T?kp?kD?TD，1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡單而有效的方法，其意義在于err?k揭示了p?k和D的相似性。err?k值越大，表示p?k和D的相似度越大，且p?k對于輸出影響越顯著。利用ERR定義泛化因子(GF)，GF可以檢驗(yàn)算法的泛化能力，并進(jìn)一步簡化和加速學(xué)習(xí)過程。定義:

GF=?uk=1err?k(19)

如果GF

2.2 參數(shù)調(diào)整

需要注意的是，不管是新生成的隱節(jié)點(diǎn)還是已存在的隱節(jié)點(diǎn)，都需要對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。傳統(tǒng)的方法是使用LLS[10]方法對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，本文提出使用EKF方法調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)。由于LLS方法在確定最優(yōu)參數(shù)時(shí)計(jì)算簡單、速度快，但該方法對噪聲敏感，其學(xué)習(xí)速度隨著信噪比的增加而下降。另外，與LLS方法相關(guān)的問題是其求解可能是病態(tài)的，這使得參數(shù)估計(jì)變得很困難。EKF方法由于其自適應(yīng)過程比較復(fù)雜，計(jì)算速度沒有LLS方法快，但是EKF方法在噪聲環(huán)境下具有魯棒性，使用EKF方法可以實(shí)現(xiàn)一種健壯的在線學(xué)習(xí)算法。網(wǎng)絡(luò)參數(shù)可以用下面的EKF[11]方法進(jìn)行調(diào)整。事實(shí)上，網(wǎng)絡(luò)的參數(shù)向量θ可以看做一個(gè)非線性系統(tǒng)的狀態(tài)，并用下面的方程描述:

θ?i=θi-1

t?i=h(θi-1，X?i)+e?i(20)

在當(dāng)前的估計(jì)值i-1處將非線性函數(shù)h(θi-1，X?i)展開，則狀態(tài)模型可以重寫為

θ?i=θi-1

t?i=H?iθi-1+ε?i+e?i(21)

其中:ε?i=h(i-1 ，X?i)-H?ii-1+ρ?i。H?i是如下的梯度向量:

H?i=?h(θ，X?i)?θ|θ=i-1 (22)

參數(shù)向量θ使用下面的擴(kuò)展卡爾曼濾波算法更新:

K?i=Pi-1H?T?i[H?iPi-1H?T?i+R?i]??-1

θ?i=θi-1+K?i(t?i-h(θi-1，X?i))

P?i=Pi-1-K?iH?iPi-1+Q?i(23)

其中:K?i是卡爾曼增益矩陣;P?i是逼近誤差方差陣;R?i是量測噪聲方差陣;Q?i是過程噪聲方差陣。

全局?jǐn)U展卡爾曼濾波算法會涉及大型矩陣運(yùn)算，增加計(jì)算負(fù)擔(dān)，因此可以將全局問題劃分為一系列子問題從而簡化全局方法。網(wǎng)絡(luò)的前件部分具有非線性特性，利用擴(kuò)展卡爾曼濾波算法對其進(jìn)行調(diào)整;網(wǎng)絡(luò)的后件部分具有線性特性，利用卡爾曼濾波算法對其進(jìn)行調(diào)整，該方法等同于將全局方法簡化為一系列解耦方法，可以降低計(jì)算負(fù)擔(dān)。由于高斯函數(shù)的中心對系統(tǒng)的性能影響不明顯，為了簡化計(jì)算，只對高斯隸屬函數(shù)的寬度進(jìn)行調(diào)整。

前件參數(shù)使用如下的擴(kuò)展卡爾曼濾波算法更新:

K?δ?i=P?δi-1G?T?i[R?i+G?iP?δi-1G?T?i]??-1

δ?i=δi-1+K?δ?i(T?i-wi-1φ?i)

P?δ?i=P?δi-1-K?δ?iG?iP?δi-1+Q?i(24)

后件參數(shù)使用如下的卡爾曼濾波算法更新:

K?w?i=P?wi-1φ?T?i[R?i+φ?iP?wi-1φ?T?i]??-1

w?i=wi-1+K?w?i(T?i-wi-1φ?i)

P?w?i=P?wi-1-K?w?iφ?iP?wi-1+Q?i(25)

2.3 模糊規(guī)則的增加過程

在SFNN學(xué)習(xí)算法中，模糊規(guī)則增加過程如下:

a)初始參數(shù)分配。當(dāng)?shù)玫降谝粋€(gè)觀測數(shù)據(jù)(X?1，t?1) 時(shí)，此時(shí)的網(wǎng)絡(luò)還沒有建立起來，因此這個(gè)數(shù)據(jù)將被選為第一條模糊規(guī)則:c?0=X?0，δ?1=δ?0，w?1=t?1。其中δ?0是預(yù)先設(shè)定的常數(shù)。

b)生長過程。當(dāng)?shù)玫降趇個(gè)觀測數(shù)據(jù)(X?i，t?i)時(shí)，假設(shè)在第三層中已存在u個(gè)隱含神經(jīng)元，根據(jù)式(4)(7)和(19)，分別計(jì)算e?i、di，min、GF。如果

e?i>k?e，di，min>k?d，且GF

則增加一個(gè)新的隱含神經(jīng)元。其中k?e、k?d分別在式(5)和(8)中給出。新增加的隱含神經(jīng)元的中心、寬度和權(quán)值賦值為:Cu+1=X?i，δu+1=k?0di，min，wu+1=e?i，其中k?0(k?0>1)是重疊?因子。

c)參數(shù)調(diào)整。當(dāng)增加新神經(jīng)元后，所有已有神經(jīng)元的參數(shù)通過式(24)(25)描述的算法調(diào)整。

3 仿真研究

時(shí)間序列預(yù)測在解決許多實(shí)際問題中是非常重要的。它在經(jīng)濟(jì)預(yù)測、信號處理等很多領(lǐng)域都得到了廣泛應(yīng)用。

本文采用的時(shí)間序列由Mackey-Glass差分延遲方程產(chǎn)生，其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x??10(t-τ)(27)

為了能夠與文獻(xiàn)[5，6]在相同的基礎(chǔ)上進(jìn)行比較，取值?Δt=P=6，式(27)中的參數(shù)選擇為:a=0.1，b=0.2，τ=17。預(yù)測模型表示為

x(t+6)=f[x(t)，x(t-6)，x(t-12)，x(t-18)](28)

為了獲得時(shí)間序列，利用式(27)生成2 000個(gè)數(shù)據(jù)，式(27)的初始條件為:x(0)=1.2。為了訓(xùn)練和測試，在t=124和t=?1 123之間選擇1 000個(gè)樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。使用前500個(gè)數(shù)據(jù)對作為訓(xùn)練數(shù)據(jù)集，后面的500個(gè)數(shù)據(jù)對驗(yàn)證該模型的預(yù)測性能。圖2顯示了SFNN生成的模糊規(guī)則數(shù);圖3顯示了從t=124到t=623的訓(xùn)練結(jié)果;圖4顯示了SFNN良好的預(yù)測性能。表1列出了SFNN與其他算法的比較結(jié)果。表1顯示，與OLS、RBF-AFS算法相比，SFNN具有最少的規(guī)則數(shù)、最小的誤差和良好的泛化能力，同時(shí)具有快速的學(xué)習(xí)速度。SFNN的快速性就在于:采用無須修剪過程的生長準(zhǔn)則，加速了網(wǎng)絡(luò)學(xué)習(xí)過程;利用擴(kuò)展卡爾曼濾波調(diào)整網(wǎng)絡(luò)的參數(shù)，可以縮短網(wǎng)絡(luò)的學(xué)習(xí)周期。從上面的分析可以看出，SFNN具有緊湊的結(jié)構(gòu)、快速的學(xué)習(xí)速度、良好的逼近精度和泛化能力。

4 結(jié)束語

SFNN采用在線學(xué)習(xí)方法、參數(shù)估計(jì)和結(jié)構(gòu)辨識同時(shí)進(jìn)行，提高了網(wǎng)絡(luò)的學(xué)習(xí)速度?；谠摲椒ㄉ傻哪：窠?jīng)網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)不會持續(xù)增長，避免了過擬合及過訓(xùn)練現(xiàn)象，確保了系統(tǒng)的泛化能力。

參考文獻(xiàn)

[1]

HUANG Huan，WU Cong-xin.Approximation capabilities of multilayer fuzzy neural networks on the set of fuzzy-valued functions[J].Information Sciences，2009，179(16):2762-2773.

[2]DENG Xing-sheng，WANG Xin-zhou.Incremental learning of dynamic fuzzy neural networks for accurate system modeling[J].Fuzzy Sets and Systems，2009，160(7):972-987.

[3]韋玉科，汪仁煌，李江平，等.一種新的數(shù)據(jù)智能化處理算法[J].計(jì)算機(jī)應(yīng)用研究，2008，25(5):1328-1329.

[4]CHEN Sheng，HONG Xia，LUK B L，et al.Orthogonal-least-squares regression:a unified approach for data modeling[J].Neurocompu-?ting，2009，72(10-12):2670-2681.

?[5]CHEN S，COWAN C F N，GRANT P M.Orthogonal least squares learning algorithm for radial basis function networks[J].IEEE Trans on Neural Networks，1991，2(2):302-309.

[6]CHO K B，WANG B H.Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J].Fuzzy Sets and Systems，1996，83(3):325-339.

[7]RIVALS I，PERSONNAZ L.A recursive algorithm based on the extended Kalman filter for the training of feedforward neural models[J].Neurocomputing，1998，20(1):279-294.

[8]SIMON D.Training radial basis neural networks with the extended Kalman filter[J].Neurocomputing，2002，48(1):455-475.

[9]WU Shi-qian，ER M J，GAO Yang.A fast approach for automatic ?generation of fuzzy rules by generalized dynamic fuzzy neural networks[J].IEEE Trans on Fuzzy Systems，2001，9(4):578-594.