時間：2023-06-08 11:18:47
開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇網絡流量分析的方法，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。
【關鍵詞】流量 分析 抽樣 分類 統計
路由器、交換機、寬帶接入服務器是構成寬帶網絡的主要網絡設備，一般數據網管系統可以看到每一臺設備的CPU、內存、端口流量、路由數據庫等網絡信息，但這些流量是怎樣構成的，會對網絡產生怎樣的影響，我們無從知曉。對寬帶網絡流量的深入分析，使網絡設備流量監控系統可以監測的數據包括：網絡流量構成分析、使用的協議、系統負載、端口分布情況、數據應用統計、數據安全性、發送時間等。網絡流量分析應用可以接收來自網絡的各種信息，通過對這些數據的分析，網絡管理員可以深入了解網絡當前的運行狀況。下面從幾個方面對寬帶網絡流量分析方法進行探討：
1 數據抽樣
抽樣是指從原始數據集中按一定原則抽取部分實例，構成數據子集作為觀察對象。抽樣的目的是為了代表原始數據集特性的較小的數據集上獲得對原始數據集特性的推斷。數據抽樣的方法包括簡單隨機抽樣，即按照1/k的頻率，隨機進行抽樣；系統抽樣按數據包生成的時間順序，在抽取第一個數據包后，每隔k個包抽取一個包；分層抽樣可對標注過的每類應用采用簡單隨機抽樣或系統抽樣方式抽取數據包；集群抽樣可從多個子數據集中再隨機抽取若干個子數據集。
為對數據分布進行準確的分析，要用到幾個簡單的度量指標，包括算數平均值Mean、算數和S、計數C、最小值Min、最大值Max、極差Ed、中列數Mr、第一個四分位數Q1、第三個四分位數Q3、中位數Median、眾數Mode、離群點Outlier等。設n個排序后的觀察：
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=（Max-Min）/2
Q1=xn/4
Q3=x3n/4
Median=（x[n/2]+x[（n+1）/2]）/2
另外，眾數是指數據集中出現頻率最高的數；離群點有時又稱為歧異值，通常是指數據集中與數據一般行為不一樣的樣本。
2 流量分類
網絡流量分類是依據網絡應用協議對應的某些參數或特征，自動將網絡流量分成不同流量種類的過程。流量分類一般指將網絡流量分為多類，如果是二類分類，則可以使用流量檢測、流量識別、流量鑒別等方法。
從網絡流量分類針對的目標粒度，由細到粗又可以進一步分為包級（packer-level） 、流級（flow-level）和會話級（session-level）。包級分類基于網絡數據包所具有的特征，如包長、包到達間隔時間等，對每個數據包進行分類；流級分類基于五元組（源IP地址、源端口號、目的IP地址、目的端口號和協議）進行分類，除關注包級特征外，通常會進一步考慮流級得指紋特征，統計特征或行為特征；會話級分類基于三元組（源IP地址、目的IP地址和協議）進行分類，適用于簡單網絡服務環境的流量粗分類。
基于DPI（深度包檢測）的流量分類方法通過分析特定應用在通信過程中的傳輸協議特征串實現流量分類，DPI一般是在應用層內容搜索特征串，如BitTorrent的某個TCP數據包中包含特征串”0x13BitTorrent”。在基于載荷進行DPI的流量分類中，DPI流量分類需要解決如下幾個問題：非標應用和私有協議越來越多，它們多缺乏公開可用的協議規范，導致特征串難找易變；某些特征模式的代表性較差，僅能匹配到部分流量，導致檢全率較低；隨機加密流可能匹配若干模式，導致誤檢率較高；基于協議語法或數據語義分析需要進行大量計算，導致系統時間和空間開銷較大。
3 基于統計學習的流量分析
基于統計學習的流量分析方法通過計算特定應用流量的統計信息，利用各種機器學習算法，包括有監督學習算法和無監督學習算法，對捕獲的網絡數據包進行鑒別。基于機器學習的網絡流量分類通常包含三個步驟：統計特性抽取，單包特征如包長，復合流統計如均值或標準偏差；分類器構造及訓練；新流量分類。
基于機器學習的流量分類方法面臨以下幾個方面的問題：難以確定最有效的特征集，既要選擇最佳的n個特征，使分類算法得到最大的分類準確率，同時要求n的值最小；高維特征導致某些算法收斂時間長，計算復雜性較高，若僅參考從數據包頭導出的分類特征，如果每個流用于抽取特征的包數為n，則收集每個特征的計算成本將接近n.log2n；某些算法模型可能陷入局部最優；分類準確率高度依賴于樣本的先驗概率，而訓練和測試樣本對某類流量可能是有偏樣本。
4 總結
寬帶網絡流量分析是網絡運營管理，網絡發展規劃，網絡流量調度和高效能業務前瞻的依據。網絡流量分析也是網絡攻擊和惡意代碼檢測以及流量清洗的重要手段。隨著寬帶網絡流量的快速增長，骨干網體系架構不斷演進、扁平化、網狀化、動態自適應成為網絡發展的趨勢，寬帶網絡流量分析再次面臨巨大挑戰，包括：高速網絡數據實時無損采集、單向流、協議私有化、加密、P2P、隧道傳輸、缺乏可信數據集和評估標準，網絡流量分析研究工作仍然需要不斷深入與創新。
參考文獻
[1]（美）Nader F.Mir，潘淑文.計算機與通信網絡[M].北京：中國電力出版社，2010（01）.
[2]余浩，徐明偉.P2P流檢測技術研究綜述[J].清華大學學報，2009（49）.
[3]彭蕓，劉瓊.Internet 流分類方法的比較研究[J].計算機科學，2007（34）.
[4]汪立東，錢麗萍.網絡流量分類方法與實踐[M].京：人民郵電出版社，2013.
關鍵詞：網絡管理；網絡流量；監測
中圖分類號：TP393 文獻標識碼：A文章編號：1007-9599 (2010) 14-0000-01
The Flow Monitoring Method of Network Management
Li Jiabin
(Ocean University of China,Qingdao266100,China)
Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.
Keywords:Network management;Network flow;Monitoring
企業局域網的廣泛應用為廣大企業帶來了快速的信息響應、辦公效率的大幅提升、經營成本的降低等眾多好處。但同時，隨著網絡技術突飛猛進的發展，網絡應用五花八門，企業也不得不面對越來越多的惡意網絡攻擊與黑客入侵。目前，企業局域網網絡安全綜合應用了防火墻、入侵監測、漏洞掃描、補丁分發等安全產品，致力于建設集訪問控制、流量監測、帶寬管理及終端管理等功能與一體的安全管理平臺。通過對網絡流量的監測，及時發現企業局域網內流量異常的主機，或者根據系統設置的閾值提前預警，從而更好的保護正常業務對網絡帶寬的需求。所以，網絡流量監測是實現對企業局域網運行狀況掌握與管理的有效手段。
一、網絡流量的特征
（一）數據流是雙向的，但通常是非對稱的。互聯網上大部分的應用都是雙向交換數據的，因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異，這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。（二）大部分TCP會話是短期的。超過90%的TCP會話交換的數據量小于IOK字節，會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的www文檔傳輸都小于IOK字節，WWW的巨大增長使其在這方面產生了決定性的影響。（三）包的到達過程不是泊松過程。大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程。簡單的說，泊松到達過程就是事件按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。（四）網絡通信量具有局域性。互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關和基于空間的相關。
二、網絡流量的測量
網絡流量的測量是人們研究互聯網絡的一個工具，通過采集和分析互聯網的數據流，我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的，設備的一小點故障都有可能使整個網絡癱瘓，或者使網絡性能明顯下降。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題。互聯網流量的測量從不同的方面可以分為：
（一）基于硬件的測量和基于軟件的測量。基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量，這些設備一般都比較昂貴，而且受網絡接口數量，網絡插件的類型，存儲能力和協議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內核中的網絡接口部分，使其具備捕獲網絡數據包的功能。與基于硬件的方法比較，其費用比較低廉，但是性能比不上專用的網絡流量分析器。（二）主動測量和被動測量。被動測量只是記錄網絡的數據流，不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。（三）在線分析和離線分析。有的網絡流量分析器支持實時地收集和分析網絡數據，使用可視化手段在線地顯示流量數據和分析結果，大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據，把數據存儲下來，并不對數據進行實時的分析。（四）協議級分類。對于不同的協議，例如以太網，幀中繼，異步傳輸模式，需要使用不同的網絡插件來收集網絡數據，因此也就有了不同的通信量測試方法。
三、網絡流量的監測技術
根據對網絡流量的采集方式可將網絡流量監測技術分為：基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。
（一）基于網絡流量全鏡像的監測技術。網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備，實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點是能夠提供豐富的應用層信息。（二）基于Netflow的流量監測技術。Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。（三）基于SN的流量監測技術。基于SNMP的流量信息采集，實質上是通過提取網絡設備Agent提供的MIB中收集一些具體設備及流量信息有關的變量。基于SNMP收集的網絡流量信息包括：輸入字節數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協議包數、輸出字節數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等。在此基礎上實現的流量信息采集效率和效果均能夠滿足網絡流量監測的需求。
在綜合比較三種技術之后，不難得出以下結論：基于SNMP的流量監測技術能夠滿足網絡流量分析的需要，且信息采集效率高，適合在各類網絡中應用。
參考文獻：
電力綜合數據網的深化應用對異常流量的檢測和分析提出了更高的要求。本文通過對電力綜合數據網的流量數據結構進行分析，驗證了電力綜合數據網正常單位流量具有穩定的信息熵。在此基礎上，提出了通過對數據流量五元組熵值的分析來判斷異常流量的方法，并對綜合數據網流量結構進行建模，提出應用支持向量機的算法對異常流量進行識別。
【關鍵詞】綜合數據網 異常流量 支持向量機
1 某電網綜合數據網流量分析現狀
目前某電網公司綜合業務數據網以主數據中心和同城災備中心為核心，與全省各地供電局的綜合數據網絡核心形成互聯，互聯鏈路采用萬兆以太網傳輸技術，形成一個電網綜合數據業務傳輸的承載網平臺。具體網絡拓撲如下所示：
該電網公司綜合數據網絡核心日常數據流量已超過1GB，流量監控使用ARBOR流量分析設備來完成，通過Netflow的方式監測骨干層各中心匯聚設備連接到省中心的端口。
目前，該電網公司流量分析系統具備的主要功能包括：
（1）能夠得到端到端用戶體檢的量化數據，包括端到端的全過程響應時間。
（2）能夠得到網絡傳輸時延的數據，并考慮到不同數據包大小情況的網絡傳輸時延。
（3）能夠得到應用系統各個交互過程的響應時間的數據。
（4）能夠根據時間迅速定位流量，并根據地址、端口等信息迅速將所需網絡流量數據包檢索并抽取出來進行分析。
由以上功能點的統計分析，可以得知，目前該電網的流量分析系統能做到對網絡流量的統計及性能分析，但對網絡流量異常的做不到良好的預警。
2 流量異常檢測方法
自Denning研究異常檢測模型以來，網絡異常檢測方法的研究就一直受到學術界的極大關注。白玉峰研究致力于利用流量大小（如流數、分組數或字節數）來檢測網絡異常并獲得巨大成功，但是這類方法面臨的問題是：并非所有的異常都會引起流量大小的顯著變化；此外，采用不同的流量測度可能會識別出不同的流量異常，因此僅僅采用一種流量測度并不能識別蘊含在流量數據中的所有異常。
近年來的大量研究表明，不管是局域網還是廣域網，網絡流量都具有明顯的突發性和長相關性，而網絡的自相似性特性可以很好地描述流量這些特性，所以，自相似性已成為網絡流量的重要特性并以此作為流量異常檢測的基礎。現今已有大量計算機學科領域的算法和模型被使用在網絡流量的異常檢測方面，文獻采用小波分析方法利用網絡流量在時間尺度上的多重分形，在小波域內對網絡流量進行分解，通過計算網絡流量的Hurst指數，根據正常與異常流量Hurst指數的偏差來檢測異常，但該方法Hurst指數與時間尺度緊密相關，只對突發性的流量具有較好的檢測效果；文獻[1]提出一種融合k-means的聚類檢測算法，該文增量地構建流量矩陣，增量地使用PCA主成分進行異常檢測，這些方法在全網流量異常時檢測效果非常明顯，但算法相對過于復雜使其在實時性上較差；文獻[2] 使用一種基于信息熵的特征選擇算法，降低了檢測數據的維數，但增量學習的限制條件比較多，增量學習效率較低。
3 綜合數據網流量異常檢測
通過上述分析可以看出，數據流五元組的熵值較為穩定，可以通過熵值的變化情況來區分正常流量和異常流量。因此綜合數據網異常流量的檢測問題也就是通過對數據流量五元組熵值的分析來做出正常或異常的判斷。
3.1 異常流量檢測模型
針對上文中對流量特性的分析，綜合數據網異常流量的檢測問題可以理解為通過已有的流量特征據，將現有的流量分類為正常或異常。模式識別理論是利用已有的信息，按照某種特定的規則確定未知的樣本的類別屬性，模式識別往往被看作是分類問題，讓機器自身從環境中分離出某種模式并對未知樣本的歸類做出合理的判斷。因此，可以將模式識別應用于綜合數據網的異常力量檢測，通過對己有的數據流量的熵值樣本進行學習，建立規律模型，利用該模型對未知樣本進行分類。
3.2 異常檢測算法
首先使用一定數量的正常流量和異常流量數據作為訓練樣本輸入到支持向量機之中，根據這些訓練數據輸出一個模型，這個模型實際上就是通過樣本構造的決策函數。然后將測試數據輸入該模型進行分類。
3.2.1 訓練階段
根據信息熵的定義，對樣本流量的五元組分別求熵，建立樣本流量的五維熵值向量。使用核函數將向量從五維變換到高位，再將數據作為訓練樣本輸入到支持向量機之中，根據這些訓練數據構造的一個決策函數。
3.2.2 檢測階段
將檢測流量輸入模型進行檢測，分類結果為1則為正常流量，分類結果為-1即為異常流量。
4 結束語
本文通過對電力綜合數據網的流量數據結構進行分析，驗證了電力綜合數據網正常數據符合重尾分布，且正常單位流量具有穩定的信息熵。在此基礎，對綜合數據網流量結構進行建模，采用支持向量機的識別算法對異常流量進行識別。實驗結果表明，在異常流量比例大于5%的條件下，算法能夠檢測出網絡中的異常數據。
下一步的工作是深入研究電力綜合數據網異常流量的類型以及各種異常流量對流量結構的影響，改進檢測算法，進一步提升算法的精度。
參考文獻
[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering，1987，13（2）：222-232.
[2]TORRES R，HAJJAT M，RAO SG，et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA，2009，231-242.
[3]GU G，PERDISCI R，ZHANG J，et al.BotMiner：clustering analysis of network traffic for protocol and structure-independent botnet detection[A].USENIX Security[C].USA.，2008，67-76.
結合校園網絡實際面臨到的問題,我們應借助網絡應用層監測技術,使用相關流控設備,做好流量管控,既可讓教育公眾雙網運作順暢、有限帶寬資源得到有效應用,又可提高網絡性能。
關鍵詞:DPI;智能流量管理系統;管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
隨著大學校園上網規模的增加,BT、P2P、視頻下載等應用風行,盡管已經多次升級線路帶寬,卻發現上網還是卡,帶寬還是不夠用。各式病毒攻擊也伴隨而來,更是惱人的問題。使得校園網流量管理變得異常困難,大量帶寬被非核心業務占用,而傳統的基于端口和IP的流量管理難以滿足要求;面對眾多的用戶及復雜多元的網絡應用,給校園網絡管理帶來很大的威脅,網絡管理人員經常遭遇下列問題:網絡占用率較高不能查明原因、帶寬不足需優化而缺乏統計數據、網絡突然中斷不能查明原因等、希望獲得詳細的網絡管理報表用來網絡優化或升級需要而沒有現成資料。
針對上述校園網絡實際面臨到的問題,我認為追根究底是要做好流量管控,使用應用層流量分析管理技術和產品,即可實現這方面的管理效果,這就需要做到:1) 了解網絡應用流量監測技術;2) 合理的使用流量管理產品。下面,分別就這兩方面做以闡述:
1 網絡應用流量監測原理及辦法
我們知道,傳統的流量和帶寬管理是基于OSI L2～L4層,通過IP包頭的五元組(源地址、目的地址、源端口、目的端口以及協議類型)信息進行分析,通常我們稱此為“普通報文檢測”。“普通報文檢測”僅分析IP包的4層以下的內容,通過端口號來識別應用類型。而當前網絡上的一些應用會采用隱藏或假冒端口號的方式躲避檢測和監管,造成仿冒合法報文的數據流侵蝕著網絡(例如P2P下載軟件大多采用動態協商端口機制),此時采用L2～L4層的傳統檢測方法就無能為力了。
為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸的應用類型,網絡流量應用識別基本技術DPI、DFI技術應運而生。也有文獻稱之為業務識別技術。
1.1網絡流量應用識別基本技術
1.1.1 DPI
DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。DPI技術在分析包頭的基礎上,增加了對應用層的分析,是一種基于應用層的流量檢測和控制技術。當IP數據包、TCP或UDP數據流經過基于DPI技術的流量管理系統時,該系統通過深入讀取IP包載荷的內容,來對OSI 7層協議中的應用層信息進行重組,從而得到整個應用程序的內容,然后按照系統定義的管理策略對流量進行整形操作。
DPI技術通常采用如下的數據包分析方法:
傳輸層端口分析。許多應用使用默認的傳輸層端口號,例如HTTP協議使用80端口。
特征字匹配分析。一些應用在應用層協議頭,或者應用層負荷中的特定位置中包含特征字段,通過特征字段的識別實現數據包檢查、監控和分析。
通信交互過程分析。對多個會話的事務交互過程進行監控分析,包括包長度、發送的包數目等,實現對網絡業務的檢查、監控和分析。
DPI技術是達到應用層流控目標的基本方法,通過DPI技術,把流細分為對應具體的應用流,在分離流量的基礎上,定義帶寬通道,從而使網絡中的流量根據應用各行其道,優化寬帶服務,提高網絡運行效率和服務品質,保障關鍵應用,獲得更好的用戶體驗。
DPI實現應用粒度控制的流程是:識別分析控制報告,其中識別準確度是關鍵,是評估流控產品的重要指標。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/動態流檢測)與DPI進行應用層的載荷匹配不同,采用的是一種基于流量行為的應用識別技術,即不同的應用類型體現在會話連接或數據流上的狀態各有不同。DFI更關注于網絡流量特征的通用性,因此,DFI技術并不對網絡流量進行深度的報文檢測,而僅通過對網絡流量的狀態、網絡層和傳輸層信息、業務流持續時間、平均流速率、字節長度分布等參數的統計分析,來獲取業務類型、業務狀態。
2 網絡流量管理產品
2.1 智能管理
早期的網絡流量管理方式是在路由器、防火墻或局域網交換機上使用簡單的帶寬管理或QOS來實現(至今一些單位的簡易流控需求仍沿用這種方式),但這種控制方式需要人為干涉,操作復雜,無法做到智能管理,所以不能滿足網絡管理中復雜策略的精細程度和靈活程度需要。
智能流量管理系統是一款專業的L7應用層流量管理產品,適用于大中型企業、校園網、城域網等流量大、應用復雜的網絡化境;通過監控網絡流量,分析流量行為,設置流控策略,分時段、按用戶、按應用實現流量控制和帶寬保障,全面提升帶寬利用價值。智能流量管理系統融合了DPI和DFI兩種技術,具有四個顯著特征。
1) 精確而廣泛的應用識別能力:對應用的識別是進行流量控制的基礎。智能流量管理系統應用識別庫能覆蓋各種主流應用,特別是結合國內網絡應用的實際情況,提供對迅雷、QQ等本土應用的識別。另外,智能流量管理系統能夠對諸如QQ這種具有即時消息、文件傳輸、音頻視頻、游戲等多種子協議的網絡應用,提供精細化的子應用識別。
2) 優異的產品性能及安全性保障:智能流量管理系統對用戶網絡中的所有流量進行處理,能夠承受巨大的流量壓力,特別是在配置復雜策略情況下,不會造成設備性能的下降。另外,設備是以串接方式接入用戶網絡,具有良好的安全性,在設備出現運行斷電或異常情況時,能夠保障用戶業務的暢通。
3) 強大的控制能力:智能流量管理系統能夠根據用戶的實際需求,提供強大而完善的控制手段。通過不同時間段、不同用戶、不同網絡應用、不同控制動作等條件,實現不同情景下的策略配置。我們知道任何網絡流量的使用都和人的因素密不可分,智能流量管理系統能夠對用戶進行靈活的分類管理,從而使控制策略更加符合實際需要。
4) 清晰而全面的信息查詢:智能流量管理系統不僅能實現對網絡流量的控制,而且能幫助網絡管理者對異常問題進行定位,以及通過網絡應用現狀的分析實現對網絡的優化。智能流量管理系統通過柱狀圖、餅狀圖、走勢圖等圖表,以及從不同的分析角度,可向用戶提供清晰而全面的實時信息查詢、歷史日志查詢、以及自動生成報表等功能。
2.2 國內外產品介紹
國外廠商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。產品特性能好,解決方案和產品成熟,均有用戶管理系統(可能為動態IP環境中使用,將用戶帳號和流量策略結合來控制流量),除ACENET外,其主流產品功能相對單一,但非常專業。
國內廠商中,比較優秀的有暢訊信通的QQSG、南京信風、寬廣、華為SIG、金御等,國內產品適合國情,國內應用的識別率相對國外產品高,存在問題是產品性能宣傳強,但實際使用,尤其是在策略較多情況下性能差,個別產品有POS接口(適合部分國內運營商),價格較國外廠商有較大優勢,功能較多,但在流量管理領域,屬于發展期,不夠成熟。
2.3 設備的選擇
2.3.1 硬件技術
流量管理設備硬件技術主要有三種:Intel X86架構、ASIC技術和NP技術,由于X86架構處理速度相對較慢,單個芯片的可擴展性較差,所以大部分廠家的低端產品采用X86架構,高端產品采用ASIC或NP技術,以適用于不同的網絡環境需求。
2.3.2 工作模式
1) 路由模式:通過網關模式串接在用戶網絡鏈路中,所有流量都通過網關處理,對內網用戶上網行為和數據包實施控制、攔截、流量管理等功能。若將設備作為Internet 出口網關,設備的防火墻功能保障組織網絡安全,NAT功能內網用戶上網,實現基本的路由功能等。
2) 網橋模式:同樣串接在用戶網絡鏈路中,如同連接在出口網關和內網交換機之間的“智能網線”,對流經流控設備的所有數據流進行控制、攔截、流量管理等操作。網橋模式主要適用于不希望更改網絡結構、路由配置、IP 配置的用戶。
3) 旁路模式:即在出換機中配置鏡像端口,將流控設備的廣域網口同鏡像端口相連,實現對內網數據包的監聽。
采用旁路模式部署的流控設備,將與交換機的鏡像端口相連,部署實施簡單,完全不影響原有的網絡結構,降低了網絡單點故障的發生概率。
2.3.3 性能要求
1) 應用協議的識別與分類(種類和準確性),流控策略的普適性及長效性;
有些通過應用層特征碼來控制P2P的流控策略,如果不能及時更新特征碼或特征碼變得不可知,就可能導致流控失敗,一個近期的例子:BT通訊協議加密及迅雷通訊協議發生變化導致專門的P2P流控設備失效。好的流控設備不依賴于應用的特征碼,因此可以經得起時間及應用軟件協議變化的考驗。
2) 流控策略的全面性
普通設備的只對P2P應用做控制,好的設備對所有流量的帶寬、會話數、總流量和應用做控制。由于流量的多樣性,單靠一兩種策略是不能管理好的,必須實行全面的流控策略才能達到流量管理的目的。
3) 看監控對象及流控策略的精細度
好的設備既可以監控出口網關處的流量又可以監控來源網絡的流量分布;
普通設備的控制精度只能達到IP一級或網關一級,好的設備可以對每一源IP的不同應用分別做帶寬及會話數的控制,而且只有這樣才能保障關鍵應用及其它應用的服務質量以及相同等級用戶上網體驗的一致性。
4) 看流量數據存儲及處理方式
好的設備可以將流量數據輸出到專門的流量分析工作站,將流量存儲、分析、統計、查詢功能和流量捕捉功能分開,保證了流量分析設備的運行效率和流量數據存儲的可持續性。
5) 應盡可能使用性能可靠、管理方便、特別是在有故障時能夠自動旁路的設備,避免故障點的出現。
2.4 設備優缺點
流控設備不是萬能的,還要了解其缺點。
首先,因為它的工作原理和防病毒一樣屬于事后起作用,所以其優點是精準,其缺點是:1) 總有部分(10～30%)流量不可識別,例如IP碎片、加密流量等;2) 性能會持續下降,當特征碼越來越多時,性能就會越來越低,這種趨勢發展到一定程度就會使流控設備成為網絡中新的性能瓶頸;3) 由于要頻繁更新特征碼,因此一、設備后期維護難度大,總體擁有成本高;二、對廠家的依賴程度高,廠家停產、倒閉等不可抗力因素使得購買其產品成為一種賭博行為。其次,要區別對待基于應用層的帶寬分析技術和控制技術,確定有未知流量的存在對于7層帶寬分析技術來說是一種間接的成果,但是對于基于其上的帶寬控制技術來說就是現實的噩夢,因為它要先識別再做控制,所以這部分流量永遠無法得到有效的控制,當某種未知流量短期內突然增大時,流控措施就會馬上失效,例如,08年新版迅雷的快速普及就導致了不少流控設備失效,特別是一些國外的設備。
3 總結
綜上所述,只有做到網絡應用流量監測技術和網絡流量管理設備的深入了解,才能針對校園網所面臨的問題,選擇好適合自己需要的網絡流量管理設備,做到“心中有數、有的放矢”。
參考文獻:
[1] 聶瑞華.基于DPI技術的校園網絡帶寬管理[J].計算機技術與發展,2009(4).
[2] 馬科.業務識別與管理系統和網絡流量的管理[J].現代電信科技,2008(4).
關鍵詞：IP；網絡；流量控制；應用
對寬帶信息流量進行必要的控制能夠保障整個網絡平穩、高速的運轉，也是開展各種高質網絡服務的前提。目前互聯網上的大多數流量是基于TCP協議和UDP協議進行傳輸的，TCP是一種面向連接的傳輸協議，具有安全可信的特點，而UDP協議是一種無連接的傳輸協議，適用于一些高效的信息傳送任務。UDP因為缺乏傳輸層的流量管控體制，容易導致對寬帶資源的不合理的使用，對TCP傳輸性能也造成了一定影響。通過IP流量控制技術可以有效的做好基于TCP及UDP協議的流量管理工作，維護信息網絡的良好秩序。
1 IP流量去向的分析
IP流量的控制與IP流量的分析密切相關，只有做到良好的流量分析，才能實現對流量的有效管理和控制。目前主要有以下幾種常用的流量分析方法。一是以簡單網絡管理協議為基礎的流量分析，這是目前最普遍的一種流量統計手段，它借助于收集網絡節點等關鍵位置的數據流量信息，得知網絡重要節點的數據流量的大小，對流量大小的掌握較為精確，但是對數據的出處和流向無法進行有效地監控。二是以DFI為基礎的流量分析，它是通過抽樣的手段，以一定的比例來采集和記錄網絡流量信息，可以準確得到各流向數據的比例關系，其缺陷是需要設備開放某些特殊的功能，并在一定程度上降低了設備的性能；三是以DPI為基礎的流量分析，它是通過廣泛布置的DPI設備獲得全面、豐富的流量統計信息，其缺點是投入的成本太高、統計的信息比較繁雜。通過以上三種手段，可以對網絡流量的分布、流向和大小都有一個比較具體的了解。
2 IP流量控制的方法
目前存在多種IP流量控制技術，但是根據作用對象的不同，可以將其分為宏層控制和微層控制兩大類，宏層控制是一種對全網資源的統籌調控，其技術手段復雜，觸及的層面較多，本文著重對微層控制的相關技術手段和原理進行講述。微層控制面向的對象是數據包，它通過對網絡中各節點數據的調動、舍棄和攔截，實現對流量的有效控制。
2.1 對數據的調動
在網絡信息傳輸中，每個端口對信息的吞吐速率都是有限的，當多個數據流共享同一端口時，可能出現輸入的數據總量超過端口容納上限的情況，此時端口對信息的輸出速率落后于數據的輸入速率，便會采取一種排隊處理的機制對數據進行有效的管理。在傳統的IP流量控制中，對數據采取的是先來先服務的調動模式，即以時間的先后順序為優先級對數據進行劃分，對先到達的信息進行優先處理，這是一種籠統的數據管理模式，存在一定的缺陷。首先它無法兼顧數據的重要性，如果后到達的數據中包含重要信息，會因為排隊等待而增加其延遲，降低數據處理的效率，其次這種數據管理模式對有害數據的侵襲缺乏有效的抵抗力。目前比較流行的是一種基于數據優先級的排隊處理機制，這是一種對數據進行“插隊”的靈活處理方式，是對傳統列隊處理機制的一種改進，他在對數據進行排隊管理的基礎上兼顧數據的重要性。當一些數據包進入端口之后，端口設備首先根據各數據包的重要性確定他們的優先級，然后根據優先情況將他們放至隊列中不同的位置，排隊等待處理。在這種模式下，優先級越高的數據包越靠前，其延遲就越低，傳輸性能越高，從而實現了對寬帶資源的充分利用。雖然采用優先級的排隊處理機制仍然尋在一定的缺陷，但經過不斷的技術改進和創新之后，它已經越來越完善和合理，能夠實現對網絡IP流量的有效控制。
2.2 對數據的攔截和丟棄
在數據的排隊處理機制中，隊列的長度是有上限的，即端口對數據的緩存能力是有限的。當網絡阻塞的情況比較嚴重時，排隊等候的數據總量有可能超過端口的最大緩存，此時端口必須攔截和舍棄部分的數據來維持正常的數據隊列。一般會舍去優先級較低的數據，保留優先級較高的數據，雖然這種情況造成了部分數據的丟失和浪費，但是從整體上講，它維護了網絡的暢通，有效保障了整個網絡的良好運轉。
3 總結
隨著信息網絡突飛猛進的發展，網絡信息流量呈爆炸式的增長，又因為IP網絡無固定連接的特性，使得整個寬帶信息資源的流動充滿無序性和混亂性，寬帶資源的合理利用和通訊信息的正常傳輸正面臨著巨大的挑戰。本文就IP流量控制技術在寬帶中的應用進行了分析，希望能夠對我國的寬帶網絡建設起到一定的指引和幫助作用。
[參考文獻]
[1]歐亮，陳迅，沈晨，黃曉瑩，呂屹.IP網絡流量流向分析與預測技術研究[J].電信科學，2013（07）.
關鍵詞：網絡；預測模型；BP神經網絡
中圖分類號： TP393 文獻標識碼：A文章編號：1009-3044(2011)21-5098-02
Network Flow Behavior of the Situation Analysis and Prediction
TANG Lin
(Communication and Information Engineering College, Shanghai University, Shanghai 200072, China)
Abstract: Real network environment is constantly changing, the flow relationship between variables is complex, usually showing a strong non-linear law. This article is introducing the series forecast within the theory and human nerve cell network based on BP neural network was designed based on the traffic forecasting model, given an effective traffic prediction programs, and applied to the company's network management, to provide users with better services.
Key words: network; forecast model; BP neural network
隨著網絡技術日新月異的發展和網絡規模的不斷擴大，網絡體系結構越來越復雜，網絡設備的類型和網絡上所承載的業務種類不斷增加，這些因素都導致網絡出現各種性能或故障問題的可能性大大增加。本文就是在這樣的研究背景及意義下，提出了一個網絡流量分析與預測模型。該模型采用了BP （Back Propagation 反向傳播）神經網絡技術，具有自學習能力，可以有效地解決現有的許多流量采集系統中的問題。
該模型的流量采集部分基于MRTG軟件，同時在流量圖生成模塊里結合數據庫工具RRD，并在某公司網絡環境下，用試驗結果來驗證該預測分析模型，即可獲得相對準確的預測精度和較強的適應力。
1 網絡流量分析預測模型
1.1 確立預測對象
某公司網絡中出口防火墻的流量信息是進行預測分析的基礎，我們采取對防火墻流量的流入和流出情況進行系統分析，選用適合的方法進行預測，進而產生預測結果。
盡管導致網絡設備上實際帶寬變化的條件具有多重性和量化困難，但是帶寬變化的態勢在時間上是一種逐步推進的過程，有一定的規律可循。基于網絡流量帶寬的這一特征，我們通過預測網絡節點端口帶寬占有率，從而間接達到網絡節點端口流量預測的目的。
1.2 預測模型的構造設計
公司為了達到網絡管理的有效性，通常網絡流量模式是它們所運用的一個非常必要的方法，因此，準確、嚴格的數據采集方式，是能夠建立一個很好的模型為網絡流量，這樣才能夠滿足模型對數據的采集的需求。
以預測模型為例，它的核心網絡系統能夠分為三個獨立的模塊，這是按照系統的功能來劃分，它們是：流量數據采集、流量圖生成、流量預測。見圖1。
當采集到的網絡數據，需要對它的數據進行流量圖的生成，以便測試需求，而且更加直觀地觀察到。
究竟采用何種方法來對網絡進行監控，才能提高它的安全性，這是快速網絡發展的今天必須面對的，而其越來越多的人希望通過簡單的網絡操作，來達到對網絡中的數據或者信息監控，本文將介紹一種高效的管理手段：MRTG。它其實是一個管理工具，通過SNMP網絡協議來監控網絡中的一些信息，最終會把一些有用的信息很直觀的反饋給用戶，主要是以包含PNG圖形的HTML文檔來表示的。當然，MRTG也有它定時刷新數據流量的功能弊端，首先，MRTG它不能夠將需要的信息長時間的進行保存，這樣一來，會給以后對數據的查詢以及統計帶來了困難，同樣，它的運行效率不高也是其中一個問題。但是還會有其他一些工具來彌補這些弊端和不足，那就是MRTG與RRDTOOL這個工具的完美結合，通過這2個工具的搭配使用能夠很好的解決這個問題。
2 實驗結果分析
2.1 實驗數據的采集
我們采用公司局域網，所以，核心的采集技術是使用公司網絡中出口防火墻進行數據采集。數據采集使用MRTG+RRD來進行的，MRTG的數據流量是設計兩個方面，簡單介紹下，一是，接受數據的過程量，二是，進行寫的過程量。
2.2 實驗結果
見表1。
我們可以使用帶寬的占有率來進行預測模型，在測試過程中，主要采用時間回返法來進行取樣，比方說，可以往上推10分鐘，并且取得每1分鐘的網絡節點的時刻的網絡數據流量，并且把獲得到得前10個數據作為標準的輸入，并且和第11個的數值作為比較，并且把得到的神經元個數作為輸出。
下面有圖表為例，可以參考下它們之間的關系，也就是針對輸入、輸出為例：
1）網絡節點端口在t-25分鐘時刻的帶寬占有率；
2）網絡節點端口在t-20分鐘時刻的帶寬占有率
3）網絡節點端口在t-15分鐘時刻的帶寬占有率
4）網絡節點端口在t-10分鐘時刻的帶寬占有率
5）網絡節點端口在t-5分鐘時刻的帶寬占有率
6）網絡節點端口在t分鐘時刻的帶寬占有率
7）網絡節點端口在t+5分鐘時刻的帶寬占有率
要盡可能多，但是也不限于最多的樣本取樣，就以2500個樣本為例，用它們來進行網絡進行訓練，并把1000個樣本作為測試的輸出樣本，知道的數據會被保存在兩種模式下，一是數據庫，二是文本文件。我們在進行測試之前，都會對從網絡節點端口獲得到得數據進行規定的function進行處理，實現統一功能化管理和處理，并且使它們的輸入范圍保留在0到1之間，這樣做，是為了防止網絡出現意想不到的錯誤，更甚者會出現網絡的麻痹等相關問題。
3.3 實驗分析
一般情況下，會對選取的網絡模型進行一些測試性質的操作，主要包含以下幾點：對模型進行訓練、進行測試操作并且進行結果數據的預測。
所以，在預測模型正在進行測試操作的時候，期望測試中的帶寬的占有率，能夠與實際中獲得到的帶寬占有率保持一致性，這樣也就代表它們之間的差別很少，只有在這樣的網絡結構中，可以通過對模型進行訓練，這是一種重復性質的訓練，直到它得到的誤差達到了滿意的結果。
對當前網絡數據的帶寬進行預測，得出的效果圖2所示。
通過圖2獲得圖形和數據，要對它進行訓練，直至它的數據顯示得到收斂，也就是使它們的圖形更為接近，當的訓練次數是大約200次及以上的時候，獲得的圖形如圖3所示。
通過圖3可以很清楚地看到，這兩條線具有很高的接近度，但是圖形中會出現峰值過高的現象，這是可以理解的，主要原因分析是因為公司局域網絡的不穩定性造成的。
3 結束語
通過我們的實驗數據，可以分析出當預測模型在對網絡采集到的數據進行模擬分析時，只有當預測模型的網絡帶寬占有率的數值，與網絡數據節點的各個流量數據的占有率之間，它們之間的誤差出現最小值時，才能達到的要求，也就是說，當它們的誤差超出所預期的范圍時，可以使用BP神經網絡系統，對它們進行實時的訓練模擬，盡量大地降低它們的誤差范圍，而且，當這兩個占有率數據驚奇地接近的時候，這才是預測模型達到了效果，所以，在那個時候才能夠對的網絡數據預測模擬模型，使用采集測試樣本的數據進行測試，當得出的結果符合上面的條件時的模型的評價才是合適有效的模型。
參考文獻：
[1] Borgnat P,Dewaele G,Fukuda K.Seven years and one day: Sketching the evolution of Internet traffic[C]//Proc Of the 28th Conf.on Computer Communications (INFOCOM 2009). Rio de Janeiro: IEEE, 2009:711-719.
關鍵詞：網絡流量；監控設計；實現；策略
中圖分類號：TP393.06
在我國網絡迅速發展的前提下，網絡各個領域當中網絡流量監控的設計和實現變得異常重要，它的存在對于各種軟件的運行是否出現堵塞的現象顯得異常重要。就此，本論文著重針對網絡流量監控設計進行了分析，提出了相關的建議。
1 網絡流量監控的重要性
網絡是一個錯綜復雜的體系并且在管理的過程中會出現很大的難度和弊端，因此在進行網絡監控和管理的過程中一定要重視網絡流量監控問題。從目前我國網絡監控的發展來看，伴隨著各種軟件的迅速發展以及多媒體規模的普及和多形式化的網絡軟件的出現，不同領域的各項業務在網絡中逐漸趨于完善，網絡傳輸工作從以往的數據中迅速增長，給我國網絡造成了很大的負擔。因此，強化網絡流量監控工作顯得異常重要。就此，筆者認為在構建網絡監控體系的過程中要不斷的優化其內部軟件以及外部硬件，從根本上提高網絡監控在網絡中的重要位置發揮出其作用，這必然對網絡監控具有很大的意義。網網絡的流暢性、病毒的發現和制約起到了積極影響。與此同時，相關設計單位應該將網絡監控管理提高到面上，從思想上重視網絡流量監控工作，通過定期的完善和升級，一直網絡出現攻擊和病毒侵蝕的情況。
2 分析網絡流量特征
為了進一步的完善網絡局域網網絡流量管理的要求，應該構建局域網的流量監控軟件，通過網絡流量的分類、規劃、管理，針對網絡流量的整體特征進行總結，從根本上設計出符合于實際性、更好地、管理有效的流量監控體系。從根本上有效的管理網絡流量，達到避免局域網網絡堵塞的現象。就此，針對不同單位局域網的特征從以下幾個方面進行論述。
2.1 TCP/IP
在90年代初期開始，網絡中的主要協議主要是TCP/IP，雖然說視頻流、TP電話、相關的視頻軟件等發展的非常迅速，帶動了UDP協議在網絡中快速的發展，但是TCP/IP以及呈現出一個持續性發展的狀態。并且，因為用戶在瀏覽視頻或者是觀看電影的過程中會通過網頁進行，這就導致了WWW瀏覽器的迅速升級以及快速發展，從根本上提高其內容的豐富性。并且，網頁游戲以及商城對于TCP/IP的促進和發展也是非常有利的呈現出可持續發展的趨勢。因此，從以上內容的描述來看，TCP/IP在網絡中呈現出一個快速發展的趨勢，并且占據著主導位置。
2.2 雙向數據流
從網絡自身的角度進行分析，網絡的總體流向應該是呈現出一個雙方面浮動的情況，出了在網絡中應有的數據流通、數據改變、網頁訪問、下載相關的服務器、多媒體等會經常性的出現訪問外部網站的現象。
2.3 網絡數據流呈現出非對稱性
簡單來說，就是網絡數據在運作的過程中，兩者呈現出不統一的現象。或者其中的一個呈現高的現象，或者是其中一個呈現出低增長的狀態。比如說，某些單位在進行下載資料的過程中，數據流量非常緩慢甚至一個短短的視頻就需要下載一兩個小時左右。但是，在另外一個單位在進行下載資料的過程中速度非常快并且呈現出持續增長的趨勢，這個時候就呈現出了網絡數據流不對稱的現象。
2.4 短期性的TCP會話
從測試的內容來看，一般單位內部的區域網TCP會話中超過80%的交換數據量大體上是
2.5 規律
每天上午、下午以及晚上6～11時是數據流量的高峰階段，這主要是因為在上午以及下午階段隸屬于辦公期間對于數據流量的需求較大，然而從晚上6～11時來說是下班階段對于娛樂、游戲、交通等流量需求較高，是流量的高峰時間。除此之外，其他的時間隸屬于低估流量時期。
2.6 P2P通信
在網絡高速發展的前提下，互聯網的P2P技術伴隨著快速發展在網絡內的波及范圍變得越來越廣泛，并應用在各個場景當中。從我國國內的角度進行分析，P2P軟件應用最廣泛的是Workslink，還有完全以音樂共享為主要設計而進行開發的KuroKuro，是全中文操作的PP點點通，搜索音樂快捷方便的P2P軟件ezPeer，MP3搜索下載的全中文軟件的Jelawat，并且是何目前最容易分享的其他電腦網絡共享文件iMESH。不過從受眾最廣泛的角度進行分析，在線視頻點直播的PPS、pptv，完全性的體現出了視頻的優越性，從根本上體現出了P2P通信的優勢。并且這兩款視頻點播曾經創下了在線點播在線人數超千萬的記錄，完全性的體現出了收看人越多，視頻觀看流暢的P2P技術的優勢。但是，從下載歌曲、電影、軟件、在線視頻點播等進行分析，直播的P2P軟件只有擁有足夠的種子以及足夠的金額護短就能夠占據全部寬帶，從整體上使其他網絡用戶沒有辦法正常性的使用網絡，從根本上造成了嚴重性的網絡擁塞。
3 系統設計
在進行系統的過程中，首先要注意的是保障單位局域網的網絡流通現象，針對局域網的流量實施監控措施，完善監控系統針對監控系統所會出現的一系列問題和弊端進行適當性的修改和整體。從根本上保障局域網的監控系統能通過系統管理模塊以及站點流量管理體系，從根本上針對網絡流量進行實施監控，并且保障流量能夠暢通，對于出現數據制約網路的現象，應立即采取攔截的策略。與此同時，設計網絡流量監控系統中，一定要保障其監控系統中涵蓋流量監控、流量實時監控、流量定時監控、忙時監控、P2P監控等，從總體上保障流量監控體系能夠完善并且處于一個穩步運轉的狀態中。就此，從以下幾個方面針對其內容進行論述。
3.1 系統管理模塊
系統管理模塊是系統的基礎性模塊，其模塊涵蓋了用戶管理功能、系統的配置功能。所謂的用戶管理功能是通過密碼管理和用戶限制非系統性人員或者是失誤操作流量的監控體系。這里面所說的用戶包含了超級管理人員以及系統兩級用戶。超級管理人員可以通過增加管理員用戶、刪除管理員用戶、修改管理人員能修改自身的密碼和對其履行超級管理權限并且針對系統進行細致性的管理。從根本上完善對系統的總體配置和使用，更好的監控網關地址等配置。從另外一個角度進行分析，系統管理模塊是通過固定的體系進行維修和管理，從根本上提升維修和管理的策略。
3.2 流量采集模塊
如果說將整個系統比喻成大腦，那么流量采集模塊就是整個大腦中最核心的部分，占據著一定的位置。于此銅絲，流量采集模塊是基于窗口流量監控范圍內，并且針對流量進行監控和管理。通過流量采集模塊為基礎，針對其進行實時監控和管理，通過圖表的總體模式直接性的針對端口流量的情況，實時監控處理。監控主要涵蓋了針對指定的IP地址以及制定的IP區段內的流量實時監控，其次是針對指定協議端口流量監控，最后是針對指定的AS或者是制定AS間的流量監控。與此同時，這項模塊還可以還能針對網絡性能進行監控報警。其報警主要可以分成流量擁塞報警，當流量增加的時候，就會達成設定的域值。另外一種可以分成網絡擁塞報警，當流量陡增發生丟包或設備路由器轉換成交換機的CUP以及內存處理能力出現嚴重性的問題。報警可以針對整個性能管理、故障管理以及安全管理都起到非常重要的作用。
3.3 站點流量管理模塊
站點流量管理模塊式以站點管理為基本單位，并且將訪問的站點按照不同類別進行分類，并且針對其分段時間按照流量監測的實際情況采取限制性訪問的策略，將這些站點設置信息保存至相關到數據庫當中達到實現分類監控管理的目的。
3.4 P2P流量監控模塊
主要針對下載和P2P監控，針對P2P軟件例如BT等嚴重性的占用到了網絡寬帶，因此需要針對P2P流量實施監控政策。網絡監測管理人員希望能夠封鎖一切的BT軟件，控制這一系列軟件的占用網絡寬帶率，從根本上提升BT軟件的占用率，改變流量監控的現狀，提高網絡流量的使用率，減少降低的范圍。從BT服務來說，一般使用TCP/IP協議的16881一直到16889端口。從最近幾年來說，為了跨越封鎖，很多BT工具開始修改鏈接的端口，直接性的使封鎖BT軟件變得特別困難。從目前來看，通過的方式是通過監視每臺局域網中計算機的下載速率，如果某臺計算機嚴重性的占用寬帶，網絡管理人員將封鎖到達該臺計算機的IP報文，使該臺電腦不能夠進行下載。與此同時，還應該保障P2P軟件的使用，從根本上使P2P軟甲家算計需要在使用之前向項目管理人員進行申請。與此同時，還應該保障其不影響其他同事工作的時候實施下載策略。
3.5 流量分析統計模塊
其主要是通過對數據庫進行檢測工作，從總體上針對數據進行反反復復的分析工作，并且針對數據表格拼湊以及數據狀態進行實質性的改變和分析，從總體上提高統計圖的類型和形式達到有效分析流量的目的。
3.6 計算機網絡流量監控系統
其關鍵點在于通過實時采集技術針對網絡所產生的數據進行分析和整理，在一定程度上針對其設備進行統計和測量工作。在一定程度上成為了目前我國所出現的主要的IP流量分析、統計分析以及相關費用的標準。針對其流量數據進行手機和整理，能夠在一定程度上將其更好的變成流量的問題，通過IP數據包的整體檢測和分析，從而找到IP地址的源頭以及IP地址的端口，從總體上提高了IP地址的斷口。達到了區分網絡類型和傳輸方向、傳輸類型和信息的目的。從另外一點進行分析，針對P2P流量實施監控的時候，其主要應該從局域網采取下載公式的測量，當察覺到計算機嚴重性的占用寬帶情況的過程中，應立即采取封鎖IP數據流通的情況，終止該電腦下載的情況。并且，在使用P2P軟件的計算機必須在使用之前向上級網絡提交使用報告和申請，將其報告或者是申請放置到數據庫當中，達到在不斷時間段不影響單位網絡正常運行的目的。
4 結束語
總而言之，針對計算機網絡流量監控的設計和實現來說，一定要完善其系統保障流量監控體系實施的恰當，保障各個軟件在流量監督體系中能夠更加完善。從總體上推動網絡軟件的大力發展以及保障網絡運行的暢通。
參考文獻：
[1]程光，龔儉，丁偉.網絡流量宏觀行為分析的一種時序分解模型[J].電子學報，2012（11）.
[2]蔡康，湯艾軍.IP網絡流量與分析[J].廣東通信技術，2012（01）.
[3]鄒柏賢.網絡流量正常行為模型的建立[J].計算機應用，2012（07）.
[4]安常青，李學農，李小喬，岑賢道.基于SNMP的網絡流量管理系統[J].計算機工程與應用，2012（05）.
[5]趙佳寧，李忠誠.基于模擬的網絡流量自相似現象分析[J].計算機科學，2012（11）.
[6]劉特，徐迎曉，吳建軍，黃令恭.基于Java Servlet的網絡流量采集與監控技術[J].計算機工程，2012（19）.
[7]鄔源楊，董瑋文，楊宇航.自相似網絡流量的長相關分析方法[J].計算機工程，2012（05）.
[8]鄒柏賢.網絡流量正常行為模型的建立[J].計算機應用，2012（07）.
關鍵詞：入侵檢測；異常檢測；時間序列分析
中圖分類號：TP393文獻標識碼：A文章編號：1009-3044(2007)05-11229-02
1 引言
隨著科技進步和網絡技術的飛速發展，信息產業及其應用得到了巨大的發展，政府、金融、教育等企事業單位以及個人用戶等對網絡的依賴程度越來越高。同時也由此帶來了信息安全隱患，如何保障網絡與信息系統的安全已經成為高度重視的問題。作為一種主動安全防護技術，入侵檢測系統能夠檢測和識別來自外部或者內部的異常活動或者入侵行為(例如，對計算機和網絡資源的惡意使用或者破壞、內部用戶的未授權訪問等)，己經成為傳統計算機安全技術(如防火墻)的有益補充，是網絡安全領域研究的一個新熱點。
入侵檢測系統(Intrusion Detection System, IDS)是防火墻的合理補充。本文使用時間序列分析，設計和實現一個面向網絡流量異常的檢測系統，實時地監測和分析網絡中的異常流量，并采取相應措施(如與防火墻聯動)來避免或抑止網絡掃描、Dos/DDoS攻擊、網絡蠕蟲病毒、惡意下載等網絡攻擊對局域網安全的威脅，保障網絡的正常運行，最大限度地發揮網絡的作用。
2 常見的網絡流量異常
網絡流量異常會嚴重影響網絡性能，造成網絡擁塞，嚴重的甚至會網絡中斷，使網絡設備利用率達到100%，無法響應進一步的指令。造成網絡異常流量的原因可能有：網絡掃描、Ddos攻擊、網絡蠕蟲、惡意下載、用戶對網絡資源的不當使用以及物理鏈路損壞或者設備不能正常運轉等。
這些安全攻擊或威脅有一個共同點，即會引起網絡流量的急劇變化，它對網絡的影響主要體現在兩個方面：
(1)占用帶寬資源使網絡擁塞，造成網絡網絡丟包或時延增大，嚴重時可導致網絡不可用；
(2)占用網絡設備系統資源（CPU、內存等），使網絡不能正常的服務。
3 面向流量異常檢測的數學建模
本文設計和實現面向流量異常的網絡檢測系統，是在基于網絡行為學的研究結果。網絡行為學認為網絡的流量行為具有長期特征和短期特征。網絡長期特征表現在網絡行為具有一定的規律性和穩定性。能夠對局域網的流量或者某些關鍵主機的流量情況進行實時監測，及早發現和識別入侵攻擊的發生。
網絡流量模型依據的數學理論基礎的不同，大致可以分為4大類:馬爾可夫類模型、自回歸類模型、長程依賴類流量模型,漏桶類模型[1]。其中，自回歸模型定義下一個業務流量變量作為前一個變量的一個明確的函數，即利用前一段時間變量的數據來預測該變量的下一個時間的值，在一個時間窗口中，由目前向過去延伸。多個研究結果表明，它可以有效地用于網絡流量行為的實時預測和控制。因此，可以通過對統計的歷史統計量數據進行分析，為網絡流量建立合理的統計模型，并作為檢測系統的異常檢測引擎。
首先在局域網的總出口處連續的采集進出網絡的流量數據，觀測時間為4周（每周7個工作日），建立網絡的正常行為模式。從采集到的數據序列，可以看出，網絡的帶寬利用率(或者總流量)和單播/非單播包比率具有明顯的周期性特征，但它是一個不平穩的序列，可以采用時間序列分析的方法為它們建立統計模型[2]。
對帶寬利用率和單播/非單播包比率這兩個統計量的時間序列模型可以按如下步驟建立，并用于異常流量的檢測。
(1)原始數據處理
首先，采集4周28個工作日的數據作為基礎數據。數據采集系統在工作中有時會引入一些虛假數據，因此，在整個數據分析過程中，最好先進行異點的檢測和剔除，以便確保這些值是體現正常網絡行為。根據格拉布斯準則，如果x表示x1,x2,x3,x4的在一周內的某一時刻的平均值(4周數據的平均)，v表示它們的標準差，即，如果xi滿足|xi|>kv，則xi為異常值，應剔除不用。 x1,x2,x3,x4中剩余的求平均。其中k是格拉布斯準則系數，與置信區間為95%相對應的k=1.46。這樣，得到了4周歷史數據的10080個時刻的平均值。再采用方差分析的方法的方法對序列進行平穩化，這樣就可以把網絡流量的局部看成統計上近似的平穩。然后將這個局部作為一個滑動時間窗口，窗口的大小設為N。用這N個局部流量數據建立ARMA(n,n-1)模型，來判斷第N+1個數據是否異常(在實時異常檢測中，只需要將時間窗口不斷往前依次滑動[3]。
(2)模型的確定和模型參數的估計
在建模策略上，系統建模法采用ARMA(n，n-1)模型逼近序列{xt}，即
為使建模過程計算盡量簡單，降低階數，我們用直線擬合樣本數據的趨勢，然后提取趨勢項。對提取趨勢項后的數據進行建模研究。
文中建模時的初始猜測值采用逆函數方法確定。它的基本原理是：逆函數系數本身是ARMA模型無窮展開式的自回歸參數，所以對于一個ARMA，可以用無窮階AR模型去逼近。對于ARMA(2n，2n-1)，需要擬和一個AR(2n-1)模型。這一步可以通過求解Yule-Walker方程方法容易地估出AR的系數Φi。把這些AR模型的系數Φi作為ARMA(n，n-1)模型的逆函數系數Ii。逆函數系數的公式如下
將式(2)代入式(1)可以得到算子恒等式，再利用相應的系數相等的方法，得到ARMA(n，n-1)的滑動平均系數Φi，最后利用已知的Φi和Ii求出作為AR模型系數Φi的初始估計值。這樣可以得到ARMA(n，n-1)模型的初始參數Φi和θi。該方法的整個過程都僅涉及到線性方程組的求解，因而計算簡便易于實現，是對高階ARMA模型進行參數初估計的有效方法。這種參數初估計方法不但具有在計算機上容易實現的特點，而且與當前常用的參數初估計方法相比，在參數估計精度上有了較大的提高。
由于最終的ARMA模型方程對參數是非線性的，文章用非線性最小二乘法來逐步逼近的方式來實現殘差平方和的極小化。這個方法從諸參數的初始值開始，利用下式遞歸計算殘差并求得平方和
一旦在參數空間中達到平方和較小的那一點時，則以此點為初始值開始新一次的迭代，迭代一直持續到達到規定的允許誤差為止。文中利用全局收斂的Levenberg-Marquardt修正的高斯-牛頓法算法來迭代計算殘差。一旦達到誤差要求，就可以得到模型的參數和階數。這個方法還可利用局部線性的假設，借助線性最小二乘理論求得各估計參數的近似置信區間。
(3)模型適用性檢驗
文中所用的檢驗判據是F檢驗。 ，式中A0是不受限模型的平方和（較小），A1是受限模型的平方和（較大），F(s，N-r)是具有s和N-r個自由度的F-分布。其中殘差平方和的公式為：RSS=∑a 。用F檢驗來驗證在階數增加的過程中殘差的平方和是否顯著，從而確定在那個顯著性水平上，模型是否合適。同時F判據還可以作為擬合ARMA（2n，2n-1）系列時的停止判據。一旦決定停止在ARMA(2n，2n-1)模型上時，還可以進一步用F-判據判斷是否自回歸階次為奇數。在決定了最終的模型后，也可以用F-判據去判斷是否還有其他理想的模型形式是合適的。
在使用F-判據的同時，還必須使用殘差的自相關檢驗x2來作為進一步的實用性檢驗。x2分布是表征相互獨立的諸標準正態變量平方和的一個分布， 。使用殘差的自相關檢驗來判斷殘差的相互獨立性，從而確定殘差是否是白噪聲序列，進一步確定模型是否合理。
3 入侵檢測系統的功能模塊設計
根據系統的功能需求，可以將流量異常檢測原型系統分成5個基本模塊：流量采集模塊、流量統計模塊、流量異常檢測模塊，報警和響應模塊以及人機交互界面。系統的體系結構如圖1所示。
系統的工作原理是：在局域網的總出口(或被監控的核心主機附近的采集點)采集流量數據；對每個數據包進行分類并統計相關流量信息(如協議和端口使用量等)，將這些統計值保存到特定的存儲結構:并采用異常檢測模塊對這些流量數據進行分析；對于識別出的異常流量分析特征，并通過修改防火墻的規則或者受害主機隔離等方式來抑止和阻斷這些網絡攻擊的進一步發展。最后，安全管理人員可以通過人機交互模塊對查看系統的工作狀態并對系統進行配置和管理[4]。
圖1 系統的體系結構
圖1中的5個模塊的功能分別如下：
(1)流量采集模塊。局域網的總出口或者網絡中被監控的核心服務器附近設置流量采集點，采集所有流經該采集點的流量數據；
(2)流量統計模塊。對所有捕獲的網絡數據包進行拆分，統計各種協議的包的協議類型、源/目標地址、端口、大小、標識位等信息。然后，該模塊以分鐘為時間粒度，統計網絡帶寬利用率、單播/非單播包比率、應用層協議包數量、SYN(SYN+ACK)包比率等統計量進行存儲，等待進一步的處理；
(3)異常檢測模塊。該模塊通過分析網絡流量的幾個統計量來描述其正常的行為模式或者狀態。其中網絡帶寬利用率、單播/非單播包比率是與時間相關的統計量，采用時間序列分析的方法為它們建立ARMA(2,1)模型，并用于檢測這些統計量序列中的異常。通過綜合這些統計量的異常情況，識別出網絡流量中的異常情況，并產生安全事件消息；
(4)報警和響應模塊。如果檢測到異常流量，首先需要報警，使系統和系統管理員可以根據情況選擇不同的處理方法。然后，系統根據報警級別和安全響應策略采取兩種更為主動的響應方式，即防火墻聯動和主機隔離；
(5)人機交互界面。采用基于Web的用戶管理，通過該交互界面可以實現信息查看、闡值設定以及處理報警等功能。系統應該對于檢測出的異常主機進行標記，標記異常的類型、統計量、閡值指標、消息以及異常發生的時間等情況，給系統管理員報告一個異常信息。
4 系統實現與測試
原型系統在Windows 2000環境采用VC++6.0開發，采用SQL Sever 2000作為安全事件數據庫、安全日志、安全響應策略庫等的后臺數據庫。
實驗結果表明，本文設計和實現的網絡流量異常檢測原型系統對于網絡掃描、Dos/Ddos、蠕蟲等類型的網絡攻擊和入侵具有明顯的檢測效果。但是，相對于紛繁變化的網絡攻擊手段，限于軟硬件環境和統計分析技術的缺陷，系統的異常檢測能力還不是很完善，存在著一些不足之處這些都還有待改進。因此，本文的主要目的是希望為同類型的入侵檢測系統或者網絡異常檢測系統的設計和開發提供一種思路和模式，也為建立局域網的立體縱深、多層次防御系統進行一些有益的嘗試。
參考文獻：
[1]宋獻濤.等.入侵檢測系統的分類學研究[J].計算機工程與應用,2002,38(8):132-13.
[2]孫欽東,張德運,高鵬.并行入侵檢測系統的負載均衡算法[J].小型微型計算機,2004,25(12): 2215-2217.
[3]李信滿,趙大哲,趙宏.基于應用的高速網絡入侵檢測系統研究[J].通信學報，2002, 23(9):1-7.
關鍵詞：差異化服務 提高客戶粘度 全業務經營 業務增長
中圖分類號：TN91 文獻標識碼：A 文章編號：1007-3973（2012）002-069-02
1 引言
中國經濟的高速增長，促進了互聯網業務的迅猛發展，寬帶業務和光纖業務的發展已經超過傳統數據業務，成為運營商主要收入來源之一。隨著互聯網的日新月異，用戶網絡行為模式也呈現多元化，比如P2P、視頻、bt、電影等難以控制的流量都是影響企業客戶局域網運行質量的主要因素。這種情況下，如何對現有網絡在業務承載和運營手段上進行完善，提升網絡對業務的承載能力和服務質量，走出IP網絡運營“增量不增收的困境”，用新的思路和策略來促進用戶增長和業務的拓展――為用戶提供差異化服務，進行精細化的多業務運營成為業界的共識。
2 寬帶差異化服務解決方案
互聯網上多種多樣IP業務在給用戶用戶帶來豐富多彩體驗的同時，對網絡帶寬、業務承載提出了更高的要求。在資源有限增長的條件下，采取提供差異化服務的方法，來應對不同層次的群體和應用，提高用戶業務感知和服務質量。
2.1 客戶網絡流量監控
計算機網絡的普及應用已滲透到社會各個層面，給社會帶來便利的同時也隨之帶來的安全和管理問題而利用局域網流量監控是非常有效的管理輔助手段并和企業的內部管理機制結合達到更加事半功倍的效果，已經成為大家的共識。武漢電信推出的“客戶網絡流量監控”服務，可以為用戶提供書面的流量監控報告，協助用戶查看程序下載或上傳的速度和流量信息。讓用戶知道自己的帶寬使用情況，為用戶網絡優化提供重要依據。此外，集團用戶可以租用IDC的網站流量統計系統，來對自己網站做實時監測，一方面可以了解自己網站的內容或功能是否滿足網民的需要，另一方面可以向第三方提供流量統計報表，來推動自己網站的廣告業務發展。
2.2 異常流量清洗服務
由于網絡安全技術和網絡攻擊手段的不斷發展和演變，使得這類用戶的互聯網業務面臨著極大的威脅和風險。其中，分布式拒絕服務型攻擊（Distributed Denial of Services，簡稱DDoS 攻擊）是目前互聯網中存在的最常見、危害性最大的攻擊形式之一。在這種緊迫形勢下，若具備建設專用的DDoS 攻擊流量監測和清洗平臺，一方面可以為電信自身的生產網絡提供安全保障，有效提高生產網絡的健壯性；另一方面能夠結合電信大客戶的安全需求提供DDoS 攻擊的防護業務，從而達到保存激增的目的。
網絡操作維護中心2009年在城域網出口處部署了專用的DDoS 攻擊流量監測和清洗平臺，清洗設備以旁路形式部署在城域網出口，不占用用戶帶寬，不影響用戶使用。2010年正式對外推出抗Ddos攻擊服務――異常流量清洗業務，贏得了市場的肯定和贊譽。該業務的推出，一方面為電信自身生產網絡提供安全保障，有效提高生產網絡的健壯性；另一方面也為電信大客戶和商務領航網吧聯盟客戶提供DDoS 攻擊的防護業務，從而達到保存激增的目的。
圖1 武漢電信流量清洗系統構成
2.2.1 系統部署
武漢電信城域網的流量清洗需求，建議部署在出口的兩臺GSR旁。如圖2。
圖2 武漢電信流量清洗系統部署示意圖
2.2.2 異常流量清洗實現步驟
(1)流量牽引
流量牽引主要指將去往被攻擊目標的流量重路由到一個用于攻擊緩解的流量清洗中心，以便在清洗中心中處理, 丟棄攻擊流量。系統采用分布式出發方式當清洗中心的清洗設備需要工作時，它們各自向網絡中的一個路由器發送一個BGP 更新，將到目標地址的下一跳設置為它們自身。采用分布式觸發的主要優勢在于，它能靈活地將清洗設備資源分配給遭受攻擊的特定用戶。
(2)流量清洗
流量“牽引”到清洗設備后，通過流量分析驗證技術對正常業務流量和惡意攻擊流量進行識別和分離，丟棄攻擊流量，保留正常流量。典型的流量清洗的過程由過濾、反欺騙、異常識別、協議分析和速率限制五個模塊（步驟）組成，經過這些模塊之后，流量傳輸到一個識別模塊，它可提取清潔數據，并不斷調整，以適應持續變化的DDoS 特性。清洗后的流量最后通過速率限制器，在注入回網絡前執行特定的防御策略中所定義的速率限制操作。
(3)流量回注
經過流量清洗后，正常流量被重新轉發回網絡，到達原來的目標地址。
通過網絡安全平臺檢測設備、清洗設備等聯動工作，采用基于Netflow 的流量監測技術實現來對自城域網內和城域網外的異常流量的牽引、清洗、回注，從而保障用戶網絡的正常運行。
2.3 用戶行為分析服務
隨著互聯網的日新月異，用戶網絡行為模式也呈現多元化。比如P2P、視頻、bt、電影等難以把握的流量都是影響企業客戶局域網運行質量的主要因素。蠕蟲病毒爆發，網絡流量急劇增大，網速減慢甚至堵塞，是不是感染蠕蟲病毒？有哪些鏈路受到了攻擊？難于了解網絡流量的現狀和應用偏好，網站偏好，等等這些問題無一不在困擾著我們。為滿足用戶和市場需求，網絡操作維護中心充分利用局端系統及平臺資源，通過專用設備可對用戶端口、數據包進行抓包分析、流量分析、流量控制，并提供業務應用的報表分析，包含出、入雙向流量、總流量、占比及TOPN。
2.3.1 產品部署及組網方式
圖3 武漢電信業務監控系統組網圖
2.3.2 產品實現功能
NTARS系統，能實現局域網內的全業務協議分析、應用流量、偏好分析、P2P分析等，從網絡中剔除不受歡迎的流量。協助用戶了解網絡帶寬使用情況、流量分布情況、網絡行為分析、確定攻擊地理位置、垃圾郵件自動報警。協助用戶實現局域網的管理安全和權限控制。對于指定的大客戶，提供各種網絡應用流量的實時曲線圖表；可以按小時、日、月等不同的時間段提供用曲線圖或餅圖顯示，也可生成Excel格式報表。
如果能夠把網絡流量按照應用業務種類區分開來，并適度控制消遣類流量對網絡資源的占用比重，那么將成倍提高現網對關鍵應用的承載容量。
2.4 雙路由熱冗余
當下各電信運營商正在為全業務經營作精心準備，隨著用戶逐步把互聯網作為自己的關鍵業務網絡平臺，寬帶互聯網必將是運營商爭奪高端客戶最激烈的戰場。中國電信的寬帶業務目前在各運營商中處于明顯的優勢地位，也將成為各運營商關注的焦點。用戶互聯網上的關鍵業務對聯網的質量保證要求越來越高。這正好給了其他運營商以介入的機會，目前，中國聯通（網通）正在積極介入高端寬帶客戶的爭奪，為用戶提供第二條互聯網電路作備份。
用戶在內網出口放置可以進行鏈路自動檢測的網絡設備，當電信線路中斷時該設備把路由切換到另一家網絡，保證網絡冗余可靠。目前其它運營商利用此種方案對用戶進行誘導，試圖說服用戶采納。發現這種情況后我們進行了仔細的分析，此種方案雖然可保證鏈路可靠性，但并不完美：(1)用戶需要購買鏈路檢測設備；(2)大部分網絡資源在中國電信的chinanet上，如果電信線路中斷，通過其它運營商的訪問質量將下降；(3)兩個運營商的鏈路無法做到有效的負載均衡。
針對以上方案的幾個缺陷，網絡操作維護中心利用chinanet寬帶互聯網網絡優勢，推出新的雙路由熱冗余產品。如圖4所示。
圖4 武漢電信雙冗余熱備部署圖
利用不同的局點接入，在核心網實現動態路由、負載分擔實現兩條線路的負載均衡和冗余。此方案功能主要在核心網實現，用戶不需購買另外設備，同時可以做到負載分擔和自動冗余，克服了其它運營商介入帶來的缺點，可以成為中國電信競爭高端客戶的有效手段。
3 差異化服務應用市場效應
2008年下半年，網絡操作維護中心推出了系列差異化服務，通過精確的數據分析和流量分析，為前端客戶經理提供潛在的目標客戶群體，前后聯動，一戶一案，實現針對性營銷。在黨政軍客戶、重要政企客戶、金融客戶和網吧聯盟等聚類客戶中取得了良好的銷售業績，尤其在2010年，我們完成拓展收入1126萬元，超年計劃12.6%。其中新增網盟雙冗余業務收入215萬，新增異常流量清洗收入約160萬元。 2011年為新增IDC托管客戶北京新網數碼、水務局、漢口銀行、湖北電力等政企用戶及39家網吧聯盟的網吧用戶實施異常流量清洗服務。
同時，將維護拓展差異化服務營銷和3G手機營銷、E9融合套餐營銷糅合起來、捆綁營銷，也獲得了意外的收獲：2010年二季度共計完成員工套餐營銷任務275件，占網絡操作維護中心發展量的72.6%，三季度完成員工套餐營銷任務214戶，占中心實際完成總量的87.7%，四季度完成員工套餐營銷100戶，有效出賬率97%。合計2010年，合計完成C網業務589件。
經過4年多的探索、推廣，成功樹立了雙路由冗余、異常流量清洗、用戶行為分析三大差異化服務品牌，增加了客戶粘度，提高了客戶滿意度和感知，提升了他網競爭的門檻。我們有理由相信差異化的服務，能使中國電信在高端客戶的競爭中取得勝利，成為鎖定高端客戶的利器。
4 結束語
寬帶差異化服務是一個系統工程，包括IP網絡承載差異化、內容應用差異化、客戶服務差異化等多個體系。本文主要討論了基于應用的流量監控、流量清洗、用戶行為分析等差異化的業務和服務。對于不斷增長互聯網業務需求和有限的運營資源之間的矛盾，只有在提高服務質量和差異化服務中尋找解決方案，才能同時滿足業務發展需求和業務經營，保證互聯網業務健康支持發展，保證客戶感知越來越好。
網絡中異常流量，多半是DDoS攻擊作怪，這些攻擊嚴重浪費著用戶的資源和時間，是目前網絡“擁塞”的罪魁禍首，應對非常棘手。
流量管理非常棘手
某網通公司工作人員介紹到，用戶依賴信息化平臺程度越高，會越發關心網絡帶寬的有效利用率，而網絡流量分析的必要性就會越強。“以我們自身為例，作為電信運營商，一方面為用戶提供服務，另一方面需要重視自身內部網絡帶寬的有效利用率。再有，如果相關帶寬還是以租用方式獲得時，帶寬使用的有效性就會備受關注。”這位工作人員介紹。
然而，網絡虛擬社會中，對于流量是否異常的判斷，其難度不亞于現實社會中對于車輛合法與否的判斷。現實社會相關法律法規的建設有著多年的經驗，但虛擬社會卻剛剛開始，目前還無法比擬。
以DDoS為例，它就是網絡虛擬社會中的“堵車”，目前，為了保證服務質量，首先要將它清除。
因此，如何管理流量，是用戶面臨的棘手問題。
中國移動通信集團公司某工作人員告訴記者，在如今P2P、IM盛行的時代，對于局域網的流量管理，一般用“抑制、監測、溯源”六字進行管理; 而對于骨干網絡流量，其管理精髓在于監測和溯源。
東軟網絡安全產品營銷中心副總經理李青山認為，網絡流量管理的根本在于要對網絡中傳輸的流量進行細粒度分析，并進行宏觀和微觀溯源，部署合理的策略，制定相應的應對計劃; 其次，還要幫助運維者掌握帶寬的利用效率，制定合理的購買計劃，節省成本。
同時，一些專家也認為，高端網絡骨干鏈路在應對異常流量威脅時所需要的既不是脆弱的傳統DDoS過濾設備，也不是簡單粗暴的網絡層ACL訪問控制機制，它們需要的是一種既可保持網絡系統健壯性又能提供較高檢測命中率的新穎的思路。
傳統管理方法無外呼兩種，但各有其局限性，都不能很好地對網絡流量以及異常流量進行抑制、監測和溯源，業界需要新的管理方法。
傳統方式有其不足
但是，通過追本溯源管理網絡異常流量，目前并沒有好的方法。中國移動的內部人士介紹，對于異常流量管理這場遭遇戰，最早是在電信行業內打響，可以追溯到2004年前后。經過近5年的發展，攻防的招術也幾經變化。“移動公司最初通過串接式設備進行管理，如防火墻、DDoS過濾器，后來又通過網絡設備進行管理，如ACL列表、手動調整QoS流量整形策略，但都不能很好地對網絡流量以及異常流量進行抑制、監測和溯源。”他說。
串接式設備舉步維艱
普通企業網絡通常會采用類似于防火墻、IPS、DDoS過濾器等設備，通過在企業網邊界點上的部署防止異常流量由低等級區域向關鍵區域滲透。然而，這種解決思路并不適合高端網絡，主要表現如下。
1. 防火墻、DDoS過濾器等串接設備會降低高端網絡的穩定性。大家知道，諸如防火墻或DDoS過濾器等設備工作重點在于提高系統安全性而非穩定性，其系統MTBF指標比主流網絡設備要遜色許多。在高端網絡區域邊界點上部署此類設備將直接造成兩個負面影響: 一是人為增加了單一故障點，二是把高端網絡整體穩定性直接拉低為DDoS過濾器設備本身的穩定性。因此，在高端網絡上部署串聯式設備是得不償失的。
2. 串接設備難以提供足夠的處理性能。高端網絡動輒采用的萬兆以上鏈路是現有串接設備難以望之項背的。一般防火墻、DDoS過濾器通常針對普通企業用戶進行設計，其系統處理性能往往局限在10000M bps以下，因此無法提供與保護目標相稱的處理能力。
3. 串接設備無法提供對應的接口類型。防火墻等過濾設備主要面向下游接入網絡提供服務，網絡接口基本局限為100/1000M以太鏈路，而作為中間互連通道的高端網絡骨干鏈路中卻廣泛采用了10GE、OC-192 POS等規程，這對于構建在通用硬件平臺上的DDoS過濾設備來難以配置相應接口板卡。
正是由于傳統串接防護設備顯而易見的局限性，決定了其無法在高端網絡中進行應用部署。
網絡設備捉襟見肘
當尋求傳統DDoS解決方案受挫后，高端網絡運維部門轉而在網絡設備管理維護體系中進行嘗試，采取的方式通常包括在網絡路由設備中增加靜態ACL、手動調整QoS流量整形策略等。但這似乎由一個極端走向了另一個極端，完全忽略了一個現實問題―以DDoS、蠕蟲為代表的異常流量本質上是一種人與人對壘的網絡安全斗爭，而非人與機之間刻板的流量管理配置。這主要是由于以下原因造成的。
1. ACL列表不可能事前得到異常流量特征。DDoS流量的源IP地址是極為分散的（這主要取決于Botnet），目的IP地址也并不固定（這是因為DDoS的真正目標并不在于目的IP所指向的網絡單元，而是迫使DDoS流經的骨干鏈路遭受“池魚之災”），因此靜態ACL過濾無法準確命中DDoS流量。
2. 異常流量無法通過簡單的流量統計數字進行識別。一個簡單的例子可以說明: 同樣是10K bps/s的ICMP ECHO流量，在5G bps/s背景負載情況下并不能說明什么問題，而對于5M bps/s的背景負載則幾乎等同于一次Flooding攻擊。因此，通過人工調整的流量整形策略無法在鏈路瞬息萬變的各種流量比例關系中快速定位異常流量的發生。
3. 網絡設備難以識破異常流量的偽裝。部分DDoS、蠕蟲、P2P通信具備良好的偽裝能力，能夠混雜在正常業務應用中而使網絡設備無法通過傳輸層以下的表象特征進行識別，這種應用層偽裝能力已遠遠超出網絡設備的能力范圍。
因此，網絡設備在高端流量管理上同樣心有余而力不足。
由于傳統方式有這樣的局限性，業界不斷在尋求新的解決之道。據悉，新的思路正在形成之中。
用新方法管理流量
專門針對網絡流量管理的產品和解決方案正在出現。它們一般定位于運營商骨干等高端網絡的檢測分析，通過對骨干流量信息的提取、分析，實時檢測網絡中DoS/DDoS攻擊、P2P通信、Worm、Spam等網絡濫用事件，進而驅動響應系統進行阻斷防御。同時，面向管理員提供流量圖式、趨勢預警、關鍵應用服務質量等各類關于骨干網絡運行狀況的統計分析數據，幫助管理員監控和掌握骨干鏈路及關鍵資源的運行情況。
專家介紹，這些方案的具體技術實現方式是:
1. 旁路接入設計防止性能下降。其技術機制需要通過旁路接入方式實現對監控網絡的分析采集，能夠徹底排除串聯式DDoS防護機制給原有網絡穩定性所引入的負面影響。同時還利用現有設備內嵌的各類自動完成數據提取，可無縫支持各種物理/鏈路層規程接口，如POS、MPLS、萬兆以太網等。
該文將計算機網絡實驗分為三個層次:基礎認識型實驗、分析研究型實驗和提高創新型實驗。在知識面覆蓋上,實驗內容還應具有綜合性,包括網絡應用、網絡協議,網絡設計與網絡管理等。
(1)基礎認識型實驗。基礎認識型實驗要求學生通過參觀認識和動手制作了解網絡組成元素、網絡連接方式和網絡運行方式。通過這一層次的實驗,學生將對網絡形成感性認識,具有整體網絡概念,為理解網絡原理知識和下階段實驗打下基礎。具體內容可如下安排:認知網絡設備,了解網絡傳輸介質;安排學生動手制作雙絞線和光纖連接頭;安裝配置網絡系統,完成路由器和無線AP的簡單配置;掌握局域網的構建方法。
(2)分析研究型實驗。分析研究型實驗要求學生通過網絡協議分析研究掌握TCP/IP協議內容和運行機制,利用仿真軟件掌握路由器和交換機的工作原理。這一層次的實驗將幫助學生深入理解因特網的工作原理,掌握大型網絡的組建方法,激發進一步研究學習的興趣。具體內容可如下安排:應用網絡抓包軟件分析協議信息,引導學生通過網絡抓包來分析研究TCP/IP各層協議信息;應用網絡仿真工具研究協議運行,引導學生采用可視化工具建立網絡場景,模擬網絡運行。同時,安排交換機與路由器實物操作實驗,安排學生分組動手組建實際網絡,盡可能給學生提供實際操作機會,鍛煉實踐工程能力。
(3)提高創新型實驗。在基礎認識和分析研究實驗之上,根據學生的興趣方向和個人能力安排一些探索性的實驗。題目應該符合當前網絡技術發展趨勢,有針對性地適應網絡技術人才的需求,能達到培養和提高學生的創新能力。具體實驗內容可如下安排:安排基本套接字編程,不僅鞏固網絡原理知識,而且掌握一般網絡應用的開發方法;安排嵌入式移動終端網絡應用,引導學生掌握嵌入式平臺的軟件移植、移動終端的通信程序設計等;安排網絡流量監測實驗,幫助學生掌握網絡流量分析方法,根據網絡各點流量綜合評估網絡運行狀況;安排網絡故障檢測與恢復實驗,幫助學生掌握檢測網絡故障并確定故障類型的方法,了解根據不同故障恢復網絡運行的策略。
2實驗平臺建設
根據上述層次實驗安排,實驗室平臺建設可以有針對性的進行規劃。
(1)基礎認識型實驗平臺。為達到基礎認知的目標,實驗室應提供一定數量的交換機、路由器,滿足學生對網絡設備感性認識的需求;組織學生到學校網管中心參觀,引導學生認識各種網絡設備;提供制作雙絞線和光纖接頭的材料、工具和連通性測試器,讓學生親手感受網絡連接方式;在學生實驗機上安裝Windows系統、提供IIS安裝包。
(2)分析研究型實驗平臺。為達到分析研究的目標,需要在學生實驗機上提供Winpcap和Wireshark軟件包并安裝NS2,滿足開展網絡協議分析的需求;在實驗機上安裝Netsim軟件,讓每個學生能模擬配置路由器和交換機,彌補硬件條件不足;將有限的路由器和交換機實物分成多組,讓學生能親手感受實際設備的運行情況。
(3)提高創新型實驗平臺。為達到提高創新的目標,需要在學生實驗機上提供該套接字編程的工具,包括安裝了Linux系統的虛擬機、GCC編譯器和GDB調試器等;提供ARM開發板,讓學生能親手設計在移動式終端上運行的網絡程序;在學生實驗機上安裝網絡管理軟件,提供流量監測、故障檢測的功能。
3結語
〔關鍵詞〕網絡異常；MRTG；網絡流量
1 概 述
1.1 網絡異常概念
在正常的網絡秩序下，每個網絡活動的參與者遵照網絡協議使用網絡，從網絡中獲取信息，參與網絡交流。但是正如現實社會中會發生異常事故及犯罪行為一樣，在網絡社會中也存在由于網絡故障、網絡非法活動導致網絡中的部分功能失常或停止服務的現象。
網絡異常（Anomaly）是指網絡行為出現與之偏離的情形。“正常”意味著遵從常態或者說常規典型的模型，沒有出乎我們想象，在意料之中的狀態。遵循我們給其設定的水準或模式[1]。而“異常”意味著出現了與“正常”相反的情形，違背了我們的期望。“正常”行為會由于網絡環境的變化而改變，例如會隨著網絡的動態變化、噪音等隨之改變。
網絡設備出現故障、配置不正確、網絡過載、遭受掃描和攻擊、中毒等，都會引起網絡的異常。按照網絡異常的原因可以分為兩類[2]：第一類是網絡故障和性能問題引發的異常；第二類是與網絡安全相關的異常。
網絡故障相關異常是網絡設備、端口、鏈路等發生故障時導致的網絡行為異常，如某條鏈路速率的瞬間增高或降低。這時候鏈路流量通常會發生陡峭的或者幾乎是瞬時的變化。例如網絡設備端口故障或者鏈路突然中斷，會導致鏈路速率立刻下降為0；網絡設備故障會導致相關的鏈路流量下降為0；路由配置錯誤可能導致某條鏈路的流量突然變大。這類異常可以由“陡峭的”或者幾乎是瞬間的改變明顯地識別出來。
網絡性能相關異常一般是由于用戶的訪問量突然增大或設備配置錯誤所導致的網絡擁擠。比如高校的選修課報名，學生們都在一個時間段對服務器進行訪問，這樣就會導致報名服務器的訪問量突然增大，如果服務器配置不高，網絡帶寬不夠的話，就會出現流量超負荷的現象；報文使用不當引發廣播風暴，路由器和交換機出現環路這都會導致網絡負荷過大，設備性能下降或者癱瘓。此類的異常現象表現出的數據集會激增或者說在一個時間段內的流量突然變化。
網絡安全相關異常指利用網絡安全漏洞進行的網絡掃描、攻擊、病毒等。
網絡掃描也叫安全漏洞掃描，是對已知或未知的目標進行探測。這是黑客常利用的方法，當掃描到能夠被其所利用的系統漏洞的時候，再進行攻擊破壞。其表現的方式是一個源地址對單個或多個IP地址，或其不同端口進行發送數據。網絡掃描是常見的網絡異常行為。
拒絕服務攻擊（Denial of Service，DoS），為什么叫拒絕服務呢？凡是造成合法用戶不能正常訪問網絡服務的行為都可算是拒絕服務攻擊。拒絕服務攻擊的目的就是要阻止合法用戶的正方訪問，以達到攻擊者的非法目的。攻擊者對服務器發送大量數據包，使服務器的資源耗盡，造成網絡擁塞或者服務器癱瘓，從而不能對用戶的請求及時應答。也就是對服務器的網絡資源、CPU、內存、系統連接數進行耗盡，直至服務器無法相應請求。
分布式拒絕服務攻擊（Distributed Denial of Service，DDoS）可以說DOS是DDOS的前身，但DDOS和DOS是有所不同的，DDOS側重于通過許多肉機（被入侵過或可間接利用的主機）同時向攻擊目標發送大量的請求數據包。攻擊的主機越多，發送的數據包數量就越多，數據包如洪水般涌向受害主機，對合法用戶的數據包進行淹沒，導致合法用戶無法使用服務器的資源。
蠕蟲病毒利用操作系統和應用程序的漏洞進行傳播。網絡病毒不但會對個人主機造成危害，并且病毒會主動從互聯網上下載更新更多的病毒，并主動傳播，可以造成局域網內的大量主機中毒，在傳播的過程中，病毒會掃描網絡，探測漏洞并主動攻擊，會大量占用網絡帶寬資源，導致網絡擁塞。
網絡異常會嚴重影響網絡性能，造成網絡擁塞，嚴重的甚至會造成網絡中斷，服務停止。對此應迅速做出響應，及時發現問題并給予保障有效運行的措施。
傳統的網絡安全技術側重于企業用戶網絡的系統入侵檢測、防病毒軟件或防火墻，這類安全措施通常只能檢測到已知的網絡入侵行為，而由于互聯網中網絡異常行為的多變性、復雜性，這類系統只能在一定程度上防止網絡中的入侵行為。
異常檢測的思想是首先建立用戶正常的行為模式，并且假定所有入侵行為都是與正常行為不同的。在每一次用戶行為產生后，都將其測量值與其正常的行為模式進行比較，當活動行為模式與正常行為模式發生顯著偏離時即認為是異常，從而觸發相應機制，向管理員提出警告，或主動做出有關反應。異常檢測不關注于具體的入侵行為，通用性較強，而且可以發現未知的攻擊模式。
異常檢測系統的結構一般包括3個部分[3]：數據獲取、建模、檢測。異常檢測是個分析的過程，系統的分析是建立在持續地監測對象并對對象的活動進行記錄。在分布式的環境下，這些活動信息將被融合在一起并進行預處理。
數據獲取模塊是異常檢測系統中的根基，它主要負責提取受保護系統的數據單元，系統中傳輸的數據，完成數據的收集和預處理工作，為檢測模塊提供基礎的源數據，是檢測系統的數據收集器。
建模和檢測是系統的核心部分。建模是對對象行為特征進行學習，產生對象正常使用模式，最終獲得檢測對象的正常行為。形成模型后用來評測新的異常事件，測量他們和新建模型的偏離度。檢測模塊對采集到的數據建立一個特征模式，然后對這個采集到的模式與建立的模式進行比對，如果超出既定模式的范圍，就認定為異常行為，并產生警告信息。如沒有超出，就重新對這個行為進行學習，并和以前的既定模式進行組合形成新的模式。由于用戶行為是不斷演化的，因此用戶行為模式必須被定期重構，提供適應新環境的機制。
網絡異常檢測的目標是發現網絡或系統中的異常行為，保護網絡和網絡中的主機，減少病毒和黑客對計算機和網絡造成的危害。它的對象可以是一臺主機也可以是大規模網絡集。網絡異常檢測的數據來源包括以下幾種。
（1）主機日志：用來審計使用計算機人員對計算機操作行為的記錄。例如：用戶登錄、修改和訪問文件，調用系統程序等行為。
（2）SNMP信息：通過SNMP和RMON協議獲得網絡設備的流量統計信息，如端口出入字節數、端口出入數據報文數、錯誤數據報文數等信息。
（3）主動測量數據：通過主動測量獲得網絡性能數據，監視網絡運行狀況。
（4）流量數據：監測網絡中的各種流量信息，對其進行特征分析，發現網絡中的異常行為。這些流量數據可以是Netflow格式的流數據，也可以是包含完整數據報文或報文頭的原始報文數據。可以只對一個網段的流量數據進行分析，也可以同時對多個網段的數據進行關聯分析，對全網的異常狀況進行檢測。
（5）路由數據：監視路由器BGP、OSPF等路由更新信息，分析網絡異常。
在網絡安全方面，異常檢測是網絡入侵檢測的一種重要手段，是入侵檢測系統的主要研究方向。在入侵檢測領域的一個基本而且重要的假設是：異常事件從安全角度來看都是可疑的，或者說有害的；異常檢測的前提是假設異常行為包含入侵行為，但是在正常/異常和無害/入侵的概念之間存在著本質的區別，入侵行為和異常行為在實際的網絡環境下往往不是一對一的關系。這樣的情況是經常發生的：假設我們在設置路由器的時候不小心發生了環路，造成網絡不通，它并不是入侵行為，但它卻是異常行為情況。因此入侵和異常檢測結果之間會出現4種可能。
（1）入侵但非異常：活動行為是入侵，但并沒有顯示出異常。這種情形是與異常檢測的前提相違背的。系統根本不能探測到此類活動，因此系統會產生錯誤報告，顯示系統沒有被入侵。
（2）非入侵但異常：活動是非入侵性的，但是檢測系統判斷它是異常的，并報告它是入侵性的，這種情況下檢測系統錯誤地報告了入侵性。
（3）非入侵非異常：活動是非入侵性的，異常檢測系統也判斷該活動行為是正常行為。異常檢測系統可以正確地對這類行為做出判斷。
（4）入侵且異常：活動行為是入侵行為，異常檢測系統也檢測到其行為模式偏離了正常的行為模式，系統顯示為異常。系統檢測到的結果正是我們想得到的信息。
各項網絡技術的發展和應用大大增加了系統誤報的概率，即使系統模型十分完美的情況下也會出現誤報和漏報的問題。
2 網絡異常實例分析
當我們突然感覺到網速下降，或訪問不了服務器，等等突發影響我們利用圖書館網絡資源的情況發生， 那么我們就需要查看網絡了，需要我們找到問題和解決問題。
有一次，我們感覺上網的速度比平常慢了挺多，以為是圖書館電子閱覽室的上網人員增多所致。但是查看閱覽室的出口流量和以往的流量差不多，在80M左右。但是通過基于SNMP協議的MRTG流量監控系統一看總出口流量卻在180M左右，這個流量比以往的流量大出了好多，肯定是網絡出現了問題，查看各個端口的流量，最后發現了癥結所在。原來是圖書館一臺服務器被非法入侵了，被用做了游戲服務器，導致網絡流量激增。圖1就是那臺服務器的MRTG流量圖，服務器流量瞬間突增到100M。圖1 中毒服務器流量圖
進行殺毒和系統安全設置，排除故障。圖2 中毒前服務器每月流量統計圖表
通過對比我們就可以發現問題，對服務器長時間的監控會形成一個定量，這個定量就是我們對比的依據，所測的數據比較以往數據的平均值高出多少，或低于多少，什么值算是正常范圍，經過長時間的測量我們就會根據本單位的實際情況得出一個定值。
3 結 語
在基于網絡異常流量分析技術的基礎上，通過對圖書館的數據流入和流出量進行監控和分析，經過長時間的監控對圖書館網絡流量形成了一個定量，這些流量數值在一個常量的范圍內，當流量數值和這個定量出現比較大的差異時就說明網絡異常的出現，經實踐證明通過異常流量的分析，能夠及時的發現網絡出現的問題，縮短了查找故障點和排除故障的時間。
參考文獻
[1]Maxion R A，Feather F E.A case study of Ethernet anomalies in a distributed computing environment[J].IEEE Transactions on Reliability，1990，39（4）：433-443.
