歡迎訪問愛發(fā)表,線上期刊服務咨詢

網(wǎng)絡流量分析的方法8篇

時間:2023-07-03 09:40:33

緒論:在尋找寫作靈感嗎?愛發(fā)表網(wǎng)為您精選了8篇網(wǎng)絡流量分析的方法,愿這些內(nèi)容能夠啟迪您的思維,激發(fā)您的創(chuàng)作熱情,歡迎您的閱讀與分享!

網(wǎng)絡流量分析的方法

篇1

【關鍵詞】流量 分析 抽樣 分類 統(tǒng)計

路由器、交換機、寬帶接入服務器是構成寬帶網(wǎng)絡的主要網(wǎng)絡設備,一般數(shù)據(jù)網(wǎng)管系統(tǒng)可以看到每一臺設備的CPU、內(nèi)存、端口流量、路由數(shù)據(jù)庫等網(wǎng)絡信息,但這些流量是怎樣構成的,會對網(wǎng)絡產(chǎn)生怎樣的影響,我們無從知曉。對寬帶網(wǎng)絡流量的深入分析,使網(wǎng)絡設備流量監(jiān)控系統(tǒng)可以監(jiān)測的數(shù)據(jù)包括:網(wǎng)絡流量構成分析、使用的協(xié)議、系統(tǒng)負載、端口分布情況、數(shù)據(jù)應用統(tǒng)計、數(shù)據(jù)安全性、發(fā)送時間等。網(wǎng)絡流量分析應用可以接收來自網(wǎng)絡的各種信息,通過對這些數(shù)據(jù)的分析,網(wǎng)絡管理員可以深入了解網(wǎng)絡當前的運行狀況。下面從幾個方面對寬帶網(wǎng)絡流量分析方法進行探討:

1 數(shù)據(jù)抽樣

抽樣是指從原始數(shù)據(jù)集中按一定原則抽取部分實例,構成數(shù)據(jù)子集作為觀察對象。抽樣的目的是為了代表原始數(shù)據(jù)集特性的較小的數(shù)據(jù)集上獲得對原始數(shù)據(jù)集特性的推斷。數(shù)據(jù)抽樣的方法包括簡單隨機抽樣,即按照1/k的頻率,隨機進行抽樣;系統(tǒng)抽樣按數(shù)據(jù)包生成的時間順序,在抽取第一個數(shù)據(jù)包后,每隔k個包抽取一個包;分層抽樣可對標注過的每類應用采用簡單隨機抽樣或系統(tǒng)抽樣方式抽取數(shù)據(jù)包;集群抽樣可從多個子數(shù)據(jù)集中再隨機抽取若干個子數(shù)據(jù)集。

為對數(shù)據(jù)分布進行準確的分析,要用到幾個簡單的度量指標,包括算數(shù)平均值Mean、算數(shù)和S、計數(shù)C、最小值Min、最大值Max、極差Ed、中列數(shù)Mr、第一個四分位數(shù)Q1、第三個四分位數(shù)Q3、中位數(shù)Median、眾數(shù)Mode、離群點Outlier等。設n個排序后的觀察:

C=n

Min=x1

Max=x1

Ed=Max-Min

Mr=(Max-Min)/2

Q1=xn/4

Q3=x3n/4

Median=(x[n/2]+x[(n+1)/2])/2

另外,眾數(shù)是指數(shù)據(jù)集中出現(xiàn)頻率最高的數(shù);離群點有時又稱為歧異值,通常是指數(shù)據(jù)集中與數(shù)據(jù)一般行為不一樣的樣本。

2 流量分類

網(wǎng)絡流量分類是依據(jù)網(wǎng)絡應用協(xié)議對應的某些參數(shù)或特征,自動將網(wǎng)絡流量分成不同流量種類的過程。流量分類一般指將網(wǎng)絡流量分為多類,如果是二類分類,則可以使用流量檢測、流量識別、流量鑒別等方法。

從網(wǎng)絡流量分類針對的目標粒度,由細到粗又可以進一步分為包級(packer-level) 、流級(flow-level)和會話級(session-level)。包級分類基于網(wǎng)絡數(shù)據(jù)包所具有的特征,如包長、包到達間隔時間等,對每個數(shù)據(jù)包進行分類;流級分類基于五元組(源IP地址、源端口號、目的IP地址、目的端口號和協(xié)議)進行分類,除關注包級特征外,通常會進一步考慮流級得指紋特征,統(tǒng)計特征或行為特征;會話級分類基于三元組(源IP地址、目的IP地址和協(xié)議)進行分類,適用于簡單網(wǎng)絡服務環(huán)境的流量粗分類。

基于DPI(深度包檢測)的流量分類方法通過分析特定應用在通信過程中的傳輸協(xié)議特征串實現(xiàn)流量分類,DPI一般是在應用層內(nèi)容搜索特征串,如BitTorrent的某個TCP數(shù)據(jù)包中包含特征串”0x13BitTorrent”。在基于載荷進行DPI的流量分類中,DPI流量分類需要解決如下幾個問題:非標應用和私有協(xié)議越來越多,它們多缺乏公開可用的協(xié)議規(guī)范,導致特征串難找易變;某些特征模式的代表性較差,僅能匹配到部分流量,導致檢全率較低;隨機加密流可能匹配若干模式,導致誤檢率較高;基于協(xié)議語法或數(shù)據(jù)語義分析需要進行大量計算,導致系統(tǒng)時間和空間開銷較大。

3 基于統(tǒng)計學習的流量分析

基于統(tǒng)計學習的流量分析方法通過計算特定應用流量的統(tǒng)計信息,利用各種機器學習算法,包括有監(jiān)督學習算法和無監(jiān)督學習算法,對捕獲的網(wǎng)絡數(shù)據(jù)包進行鑒別?;跈C器學習的網(wǎng)絡流量分類通常包含三個步驟:統(tǒng)計特性抽取,單包特征如包長,復合流統(tǒng)計如均值或標準偏差;分類器構造及訓練;新流量分類。

基于機器學習的流量分類方法面臨以下幾個方面的問題:難以確定最有效的特征集,既要選擇最佳的n個特征,使分類算法得到最大的分類準確率,同時要求n的值最小;高維特征導致某些算法收斂時間長,計算復雜性較高,若僅參考從數(shù)據(jù)包頭導出的分類特征,如果每個流用于抽取特征的包數(shù)為n,則收集每個特征的計算成本將接近n.log2n;某些算法模型可能陷入局部最優(yōu);分類準確率高度依賴于樣本的先驗概率,而訓練和測試樣本對某類流量可能是有偏樣本。

4 總結

寬帶網(wǎng)絡流量分析是網(wǎng)絡運營管理,網(wǎng)絡發(fā)展規(guī)劃,網(wǎng)絡流量調(diào)度和高效能業(yè)務前瞻的依據(jù)。網(wǎng)絡流量分析也是網(wǎng)絡攻擊和惡意代碼檢測以及流量清洗的重要手段。隨著寬帶網(wǎng)絡流量的快速增長,骨干網(wǎng)體系架構不斷演進、扁平化、網(wǎng)狀化、動態(tài)自適應成為網(wǎng)絡發(fā)展的趨勢,寬帶網(wǎng)絡流量分析再次面臨巨大挑戰(zhàn),包括:高速網(wǎng)絡數(shù)據(jù)實時無損采集、單向流、協(xié)議私有化、加密、P2P、隧道傳輸、缺乏可信數(shù)據(jù)集和評估標準,網(wǎng)絡流量分析研究工作仍然需要不斷深入與創(chuàng)新。

參考文獻

[1](美)Nader F.Mir,潘淑文.計算機與通信網(wǎng)絡[M].北京:中國電力出版社,2010(01).

[2]余浩,徐明偉.P2P流檢測技術研究綜述[J].清華大學學報,2009(49).

[3]彭蕓,劉瓊.Internet 流分類方法的比較研究[J].計算機科學,2007(34).

[4]汪立東,錢麗萍.網(wǎng)絡流量分類方法與實踐[M].京:人民郵電出版社,2013.

篇2

關鍵詞:IP包 流量分析 解析

0 引言

隨著社會的飛速發(fā)展和網(wǎng)絡技術應用領域的擴展,使得網(wǎng)絡通信問題日益成為人們關注的焦點。當前,人們對網(wǎng)絡的需要也日益增多,人們對網(wǎng)絡通信也有了越來越高的要求。通過Internet的迅速發(fā)展使社會經(jīng)濟結構和人們的生活方式發(fā)生了巨大的變化,網(wǎng)絡服務越來越重要,而IP流量正是網(wǎng)絡管理的重要數(shù)據(jù)基礎,通過IP分析流量數(shù)據(jù),可以幫助網(wǎng)絡管理員發(fā)現(xiàn)各種惡意網(wǎng)絡攻擊,對攻擊源進行追溯和定位,從而對網(wǎng)絡中的計算機進行有效的保護尤其在中小網(wǎng)絡中網(wǎng)絡安全起著至關重要的作用。IP分析中數(shù)據(jù)的統(tǒng)計是不允許出現(xiàn)任何錯誤的。因為網(wǎng)管人員在做好防護的同時也要對IP包進行捕獲和流量分析。網(wǎng)絡上的信息流量是通過計算機的網(wǎng)卡轉換把網(wǎng)上的信息展現(xiàn)出來的,通過對流經(jīng)網(wǎng)卡的數(shù)據(jù)包的分析,如果發(fā)現(xiàn)有惡意連接或是異常流量的時候,網(wǎng)絡管理員就可以及時的做出相應的措施來保護網(wǎng)絡的通暢和安全,這也就是進行IP包流量分析的重要性。

1 IP包流量分析的研究

1.1 IP流量分析

每個網(wǎng)絡都有自身的運行規(guī)律,對于每一個高級的網(wǎng)絡管理員,要管理好網(wǎng)絡上承載關鍵業(yè)務的網(wǎng)絡系統(tǒng),首先要對自己所管理的網(wǎng)絡建立深入的了解,提高自身的網(wǎng)絡管理技術水平,掌握有效的IP流量分析技術并能夠在工作中靈活的運用。網(wǎng)絡管理和網(wǎng)絡的結構、應用特點等緊密相關,通過IP流量分析,能夠幫助網(wǎng)絡管理人員掌握網(wǎng)絡系統(tǒng)運行的規(guī)律。網(wǎng)絡上重要的應用在運行時,如每一次訪問,每一個交易處理,數(shù)據(jù)都是通過網(wǎng)絡來傳輸?shù)模褪沁@些數(shù)據(jù)的傳輸導致了網(wǎng)絡流量的產(chǎn)生。通過分析應用運行所產(chǎn)生的網(wǎng)絡流量,能夠清楚的了解應用運行時對網(wǎng)絡通信的影響。通過IP流量分析程序可以獲取到數(shù)據(jù)包的內(nèi)容及其數(shù)量。在網(wǎng)絡帶寬一定的情況下,每個用戶的網(wǎng)絡行為都將相互影響,同時會對整個網(wǎng)絡的運行產(chǎn)生影響。伴隨著每個用戶在網(wǎng)絡中的行為都有網(wǎng)絡流量的產(chǎn)生,通過對網(wǎng)絡用戶的IP流量進行分析,能夠直觀地了解網(wǎng)絡用戶的網(wǎng)絡使用情況。IP流量分析可以為網(wǎng)絡和應用問題的分析提供依據(jù),特別是數(shù)據(jù)包級的分析,因為這些依據(jù)是真實的,有效的,它們是實實在在的在網(wǎng)絡中傳輸?shù)臄?shù)據(jù)包,這也是流量分析能夠大大提高網(wǎng)絡和應用問題分析效率的原因。IP流量分析是有助于維護網(wǎng)絡持續(xù)、高效和安全運行的一種手段,IP流量分析有助于網(wǎng)絡管理員對網(wǎng)絡運行管理、應用運行管理和網(wǎng)絡應用問題分析。

IP包流量分析的主要方法是通過實時連續(xù)地采集網(wǎng)絡數(shù)據(jù)并對其進行統(tǒng)計,計算得到主要成分性能指標,結合網(wǎng)絡流量的原理,通過統(tǒng)計出的性能指數(shù)觀察網(wǎng)絡狀態(tài),分析出網(wǎng)絡流量變化的趨勢,找出影響網(wǎng)絡性能的因素。

1.2 系統(tǒng)總體設計

通過研究與分析簡單IP包流量分析程序的用戶需求可以發(fā)現(xiàn),用戶需要系統(tǒng)實現(xiàn)對本機基本信息的獲取,如IP地址,主機名,MAC地址和子網(wǎng)掩碼等信息;需要實現(xiàn)對網(wǎng)絡流量的監(jiān)控,即對流入和流出網(wǎng)卡的數(shù)據(jù)包進行檢測并對數(shù)據(jù)包的長度進行累加,從而得到流量數(shù)據(jù),最后將網(wǎng)絡輸入流量,網(wǎng)絡輸出流量,網(wǎng)絡總流量能在對話框對應的網(wǎng)格處顯示;需要實現(xiàn)捕獲流經(jīng)本計算機網(wǎng)卡的所有數(shù)據(jù)包,對所獲取到的數(shù)據(jù)包進行解析,從而得到相關信息,如源地址,源端口,目的地址,目的端口,數(shù)據(jù)包的協(xié)議類型,數(shù)據(jù)包大小,數(shù)據(jù)等信息。根據(jù)分析IP包流量分析系統(tǒng)可以具有三個主要功能部分:基本信息顯示、網(wǎng)絡流量監(jiān)控、IP包解析。系統(tǒng)設計圖如圖1所示。

1.2.1 基本信息模塊

對于一臺計算機來說,一般只有一個計算機名稱,但是可以有多個IP地址。例如當計算機通過撥號上網(wǎng)的時候,在驗證完用戶名和口令以后,就會動態(tài)分配一個IP地址,此時計算機就擁有了兩個IP地址,一個是自己設定的局域網(wǎng)用的IP地址,另外一個就是撥號上網(wǎng)動態(tài)分配的IP地址了。

基本信息模塊實現(xiàn)的主要功能是獲取本機的主機名和本機IP地址,并以對話框的形式顯示出來。此模塊中所獲取的IP地址是自己設定的局域網(wǎng)用的IP地址,而不是撥號上網(wǎng)時動態(tài)分配的隨機IP地址。它設計的主要目的是為了方便網(wǎng)絡管理人員快捷地了解本機的一些基本信息。

1.2.2 網(wǎng)絡流量監(jiān)控模塊

網(wǎng)絡管理人員一般會根據(jù)計算機在不同時段的網(wǎng)絡流量變化情況來對計算機進行各項參數(shù)的優(yōu)化,以及了解是否存在異常流量。而對于個人用戶來說,實時了解本機網(wǎng)絡流量情況是很重要的,尤其是對那些撥號上網(wǎng)的用戶,對網(wǎng)絡流量的了解可以有效的幫助他們節(jié)約上網(wǎng)費用。

網(wǎng)絡流量監(jiān)控程序的本質(zhì)是對流入和流出網(wǎng)卡(Modern)的數(shù)據(jù)包進行測量,在單位時間內(nèi)的流入量實際上就是在單位時間里流入網(wǎng)卡的數(shù)據(jù)包的字節(jié)數(shù),在單位時間內(nèi)的流出量實際上就是在單位時間內(nèi)流出網(wǎng)卡的數(shù)據(jù)包的字節(jié)數(shù)。而總流量就是流入量和流出量之和。

1.2.3 IP包解析模塊

因為要捕獲經(jīng)過網(wǎng)卡的所有數(shù)據(jù)包,需要將網(wǎng)卡設置為混雜模式。在實際編程的過程中,通過使用網(wǎng)絡嗅探器可以把網(wǎng)卡設置于混雜模式,并可實現(xiàn)對網(wǎng)絡上傳輸?shù)臄?shù)據(jù)包的捕獲與分析。在網(wǎng)絡安全方面,網(wǎng)絡嗅探手段可以有效地探測在網(wǎng)絡上傳輸?shù)臄?shù)據(jù)包信息,通過對這些信息的分析利用將有助于對網(wǎng)絡安全進行維護。IP包解析模塊就是通過使用網(wǎng)絡嗅探器技術來實現(xiàn)完成的。

2 IP包解析模塊的實現(xiàn)

IP包解析模塊是系統(tǒng)實現(xiàn)的重要模塊,在實現(xiàn)中主要實現(xiàn)函數(shù)見表1。

3 結束語

IP包流量分析系統(tǒng)是一個相對復雜的系統(tǒng),通過研究需求設計了系統(tǒng)的主體框架,通過編寫套接字、訪問注冊表等方法實現(xiàn)了系統(tǒng)部分主要功能,下一步準備完成詳細指標分析等功能。

參考文獻:

[1]楊延雙,王全民.TCP/IP協(xié)議分析及應用[M].北京:機械工業(yè)出版社,2009.

篇3

關鍵詞 流量;分類;檢測;統(tǒng)計;分析

中圖分類號 TN91 文獻標識碼 A 文章編號 1674-6708(2016)166-00104-01

近年來寬帶網(wǎng)絡一直保持高速增長,光纖到桌面已基本實現(xiàn),但網(wǎng)絡中巨大的流量會對網(wǎng)絡產(chǎn)生怎樣的影響,這些流量是如何構成的,始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營指標等、當然最重要的還有數(shù)據(jù)的安全性。

不同的網(wǎng)絡,不同觀察點,不同時間的網(wǎng)絡流量因網(wǎng)絡規(guī)模,業(yè)務種類,用戶構成和使用習慣的不同而不同,甚至受突發(fā)事件的影響,網(wǎng)絡流量在體量規(guī)模,構成成分和比例上都有所不同。一個好的流量分類分析系統(tǒng),應滿足部署位置上的可移植性,流量規(guī)模的可伸縮性,時間演進的自適應性。這時系統(tǒng)不僅需要采用先進的分類技術,也需要代表性的訓練數(shù)據(jù)集來確定系統(tǒng)運行參數(shù)。數(shù)據(jù)集主要采用2種方式:PCAP格式和NETFLOW格式,前者捕獲的是包級記錄,后者則是關于流級得統(tǒng)計信息記錄。

寬帶流量的分析和檢測首先要進行流量的采集,這項工作可以通過交換機或路由器的鏡像端口實現(xiàn),也可以通過光纜分光的方式實現(xiàn)。對捕獲的數(shù)據(jù)進行計算和統(tǒng)計,并把統(tǒng)計數(shù)據(jù)寫入數(shù)據(jù)庫,定期形成網(wǎng)絡性能和流量參數(shù)的報表,用作分析的依據(jù),在形成足夠數(shù)量的報表數(shù)據(jù)后,可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢,判斷網(wǎng)絡是否存在瓶頸,并依據(jù)經(jīng)驗,形成經(jīng)驗數(shù)據(jù)庫,使網(wǎng)管系統(tǒng)具備學習的基礎和能力。在出現(xiàn)告警或異常情況時,可用來分析對比,判斷是否出現(xiàn)了網(wǎng)絡的攻擊和入侵,判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征,足夠數(shù)量的數(shù)據(jù)報表也可以指導各類應急預案的制定,在出現(xiàn)異常情況時可按照事先擬定的規(guī)則進行處理。

對于寬帶流量的分析和分類,系統(tǒng)需要進行統(tǒng)計模型的學習,統(tǒng)計模型的學習可以分為監(jiān)督學習和非監(jiān)督學習方法。所謂的監(jiān)督學習是需要使用已經(jīng)標注過的數(shù)據(jù)集合作為經(jīng)驗知識,對寬帶流量的參數(shù)和算法進行訓練;而非監(jiān)督學習則不需要使用已經(jīng)標注過的數(shù)據(jù)集進行訓練,只是根據(jù)相關算法對寬帶流量集進行匯聚。對數(shù)據(jù)集的訓練過程中需要由經(jīng)驗豐富的專家參與,并進行大量的基礎數(shù)據(jù)分析工作,網(wǎng)絡經(jīng)驗數(shù)據(jù)集是流量分析的重要構成因素。在實際分析過程中,由于寬帶核心網(wǎng)絡的流量巨大,所以高性能的預處理路由器和大規(guī)模刀片服務器必不可少。為了提高分析效率,可以只分析單向流量,并且在預處理過程中將IP數(shù)據(jù)報文的載荷去掉。但由于各種網(wǎng)絡協(xié)議不斷演進,加密的流量不斷增加,各種新應用不斷出現(xiàn),網(wǎng)絡數(shù)據(jù)集的標注也變得越來越困難。

網(wǎng)絡流量的分類和分析中對于標準協(xié)議的分析最為準確,可根據(jù)TIP/IP協(xié)議簇中標準的服務端口號對流量報文進行匹配,并根據(jù)端口號的不同將流量對應為不同的應用。非標準協(xié)議可以使用DPI(深度包檢測)在應用層對流量進行特征字符串的分析匹配,由于不同的應用在TCP/UDP的數(shù)據(jù)包中包含特征字符串,因此在掌握的不同網(wǎng)絡應用的特征字符串后,可以將網(wǎng)絡流量精確的分類和匹配,缺點是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡應用的特征字符串難找易變,代表性差及加密度高等問題,也導致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡應用的發(fā)展一直是不斷演變的矛盾。

基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性,標準的通信協(xié)議易于掌握,私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應用則會有較多的變化,或進行加密使用就會影響流量分析的效果,甚至無法識別。有時同一應用軟件的不同版本間也會出現(xiàn)不同的流量特征,即版本的變化會造成協(xié)議特征的變化。另外,網(wǎng)絡中的單向流量、數(shù)據(jù)的時延、抖動都會對流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點和痛點。

運營商的骨干網(wǎng)絡逐漸向扁平化發(fā)展,網(wǎng)絡出口的數(shù)量增加和結構日趨復雜,及動態(tài)路由算法的大量使用,使得網(wǎng)絡流量在多條鏈路或多個不同ISP之間動態(tài)調(diào)配,導致在某個觀察點只能得到部分流量,這對于依賴雙向流量特征的分析方法無法實施?;赑2P的應用目前也在不斷擴大,P2P的發(fā)展使得應用和傳輸分離,應用端點和傳輸分離,打破了原有的B/S或C/S的傳統(tǒng)傳輸模式,多源頭并發(fā)傳輸使得流量特征模糊化,使得數(shù)據(jù)采集的有效性無法保障。還有一些網(wǎng)絡應用為了逃避被檢測到,常常采用已知協(xié)議的方法,例如FTP、HTTP、POP3等,由于IP地址的區(qū)分,冒用已知協(xié)議并不會影響正常網(wǎng)絡通信,但給流量分析帶來很大難度。

寬帶網(wǎng)絡流量分析不僅可以使我們可以清楚的知道網(wǎng)絡流量的內(nèi)容,還可以為網(wǎng)絡建設、網(wǎng)絡優(yōu)化、運營管理、網(wǎng)絡安全保障提供依據(jù)和手段。同時,網(wǎng)絡應用在不斷推陳出新,各種私有化的協(xié)議和加密方法不斷出現(xiàn),且由于用戶接入帶寬的不斷提高,核心網(wǎng)流量呈幾何速度增長,這些因素在客觀上也大大增加了網(wǎng)絡流量分析的難度和成本?,F(xiàn)有的網(wǎng)絡流量分析再次面臨挑戰(zhàn),網(wǎng)絡流量的分析研究工作需要不斷深入進行。

參考文獻

[1]Nader F.Mir.計算機與通信網(wǎng)絡[M].潘淑文,等,譯.北京:中國電力出版社,2010,1.

[2]余浩,徐明偉.P2P流檢測技術研究綜述[J].清華大學學報,2009(4):610-620.

篇4

關鍵詞:網(wǎng)絡管理;網(wǎng)絡流量;監(jiān)測

中圖分類號:TP393 文獻標識碼:A文章編號:1007-9599 (2010) 14-0000-01

The Flow Monitoring Method of Network Management

Li Jiabin

(Ocean University of China,Qingdao266100,China)

Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.

Keywords:Network management;Network flow;Monitoring

企業(yè)局域網(wǎng)的廣泛應用為廣大企業(yè)帶來了快速的信息響應、辦公效率的大幅提升、經(jīng)營成本的降低等眾多好處。但同時,隨著網(wǎng)絡技術突飛猛進的發(fā)展,網(wǎng)絡應用五花八門,企業(yè)也不得不面對越來越多的惡意網(wǎng)絡攻擊與黑客入侵。目前,企業(yè)局域網(wǎng)網(wǎng)絡安全綜合應用了防火墻、入侵監(jiān)測、漏洞掃描、補丁分發(fā)等安全產(chǎn)品,致力于建設集訪問控制、流量監(jiān)測、帶寬管理及終端管理等功能與一體的安全管理平臺。通過對網(wǎng)絡流量的監(jiān)測,及時發(fā)現(xiàn)企業(yè)局域網(wǎng)內(nèi)流量異常的主機,或者根據(jù)系統(tǒng)設置的閾值提前預警,從而更好的保護正常業(yè)務對網(wǎng)絡帶寬的需求。所以,網(wǎng)絡流量監(jiān)測是實現(xiàn)對企業(yè)局域網(wǎng)運行狀況掌握與管理的有效手段。

一、網(wǎng)絡流量的特征

(一)數(shù)據(jù)流是雙向的,但通常是非對稱的?;ヂ?lián)網(wǎng)上大部分的應用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異,這是因為從網(wǎng)站下載時會導致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。(二)大部分TCP會話是短期的。超過90%的TCP會話交換的數(shù)據(jù)量小于IOK字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的www文檔傳輸都小于IOK字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。(三)包的到達過程不是泊松過程。大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡設計都假設包的到達過程是泊松過程。簡單的說,泊松到達過程就是事件按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。(四)網(wǎng)絡通信量具有局域性?;ヂ?lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關和基于空間的相關。

二、網(wǎng)絡流量的測量

網(wǎng)絡流量的測量是人們研究互聯(lián)網(wǎng)絡的一個工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設計出更加符合實際的網(wǎng)絡設備和更加合理的網(wǎng)絡協(xié)議。計算機網(wǎng)絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網(wǎng)絡癱瘓,或者使網(wǎng)絡性能明顯下降。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡管理者提供詳細的信息以幫助發(fā)現(xiàn)和解決問題?;ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:

(一)基于硬件的測量和基于軟件的測量。基于硬件的測量通常指使用為采集和分析網(wǎng)絡數(shù)據(jù)而特別設計的專用硬件設備進行網(wǎng)絡流的測量,這些設備一般都比較昂貴,而且受網(wǎng)絡接口數(shù)量,網(wǎng)絡插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制?;谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡接口部分,使其具備捕獲網(wǎng)絡數(shù)據(jù)包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網(wǎng)絡流量分析器。(二)主動測量和被動測量。被動測量只是記錄網(wǎng)絡的數(shù)據(jù)流,不向網(wǎng)絡流中注入任何數(shù)據(jù)。大部分網(wǎng)絡流量測量都是被動的測量。主動測量使用由測量設備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡而獲知網(wǎng)絡的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡延時。(三)在線分析和離線分析。有的網(wǎng)絡流量分析器支持實時地收集和分析網(wǎng)絡數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結果,大部分基于硬件的網(wǎng)絡分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡數(shù)據(jù),把數(shù)據(jù)存儲下來,并不對數(shù)據(jù)進行實時的分析。(四)協(xié)議級分類。對于不同的協(xié)議,例如以太網(wǎng),幀中繼,異步傳輸模式,需要使用不同的網(wǎng)絡插件來收集網(wǎng)絡數(shù)據(jù),因此也就有了不同的通信量測試方法。

三、網(wǎng)絡流量的監(jiān)測技術

根據(jù)對網(wǎng)絡流量的采集方式可將網(wǎng)絡流量監(jiān)測技術分為:基于網(wǎng)絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。

(一)基于網(wǎng)絡流量全鏡像的監(jiān)測技術。網(wǎng)絡流量全鏡像采集是目前IDS主要采用的網(wǎng)絡流量采集模式。其原理是通過交換機等網(wǎng)絡設備的端口鏡像或者通過分光器、網(wǎng)絡探針等附加設備,實現(xiàn)網(wǎng)絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。(二)基于Netflow的流量監(jiān)測技術。Netflow流量信息采集是基于網(wǎng)絡設備提供的Netflow機制實現(xiàn)的網(wǎng)絡流量信息采集。(三)基于SN的流量監(jiān)測技術。基于SNMP的流量信息采集,實質(zhì)上是通過提取網(wǎng)絡設備Agent提供的MIB中收集一些具體設備及流量信息有關的變量?;赟NMP收集的網(wǎng)絡流量信息包括:輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯誤數(shù)、輸出隊長等。在此基礎上實現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡流量監(jiān)測的需求。

在綜合比較三種技術之后,不難得出以下結論:基于SNMP的流量監(jiān)測技術能夠滿足網(wǎng)絡流量分析的需要,且信息采集效率高,適合在各類網(wǎng)絡中應用。

參考文獻:

篇5

關鍵詞: 流量分析;重要端口號;算法思想

中圖分類號:TP311 文獻標識碼:A 文章編號:1671-7597(2012)1210095-01

1 兩種不同網(wǎng)絡類型的數(shù)據(jù)流量

在C/S(客戶機/服務器)結構中,客戶機發(fā)送一些請求,服務器為每個請求做出回復。在客戶機間不直接傳遞信息,客戶機必須通過服務器把信息發(fā)送給其它客戶機。這種數(shù)據(jù)是定向流動的,幾乎都是從服務器到客戶機。然而在P2P網(wǎng)絡結構中每臺主機同時擔任服務器和客戶機角色,對等主機之間可以直接進行數(shù)據(jù)交換。

2 P2P網(wǎng)絡應用的類型

在P2P網(wǎng)絡應用程序中,可以分為兩類:一是即時通信應用,如MSN和雅虎信使。實時通信程序的主要功能是信息傳遞,實現(xiàn)1對1或者1對多式用戶交流和文件轉存。二是文件共享應用,如Napster。文件共享程序的主要功能是查詢和文件轉存。然而P2P應用程序的聯(lián)系分兩種:一種是中心仲裁式,另一種是純分布式。大多數(shù)實時通信應用程序系統(tǒng)使用中心仲裁,在這種聯(lián)系方式中,一個或多個核心服務器存在,這些服務器包含所有主機的信息并且把信息發(fā)送給請求的主機。在純分布式中沒有中心服務器,在搜索效率和文件傳輸上都不是很好。實際在P2P網(wǎng)絡應用程序使用中存在這兩個不同類型的混合通信。

3 P2P網(wǎng)絡數(shù)據(jù)流量分析算法的主要思想

傳統(tǒng)的數(shù)據(jù)流量分析主要是以端口號為基礎的分析和對有效載荷的檢測分析,而在P2P網(wǎng)絡中,這種方法不太適用。比如網(wǎng)絡流量中,HTTP通常使用的端口號是80或8080,HTTPS使用端口號443,在P2P網(wǎng)絡數(shù)據(jù)流量中,端口號檢測不是那么簡單,因為它們使用的端口號超過1024,通常是動態(tài)生成的端口號。

因此設想,如果所有的P2P數(shù)據(jù)流量可以在整個流量中分離出來,然后根據(jù)其應用程序的名稱分組,那么就可以對P2P網(wǎng)絡數(shù)據(jù)流量進行高精度地分析?;诖耍覀兲岢隽艘环N新的數(shù)據(jù)流量分析算法。

該算法不檢查每個數(shù)據(jù)包的有效載荷,只使用每個數(shù)據(jù)包的頭信息。主要包括四個過程,分別是應用端口表、重要端口號選擇、流量關系圖和數(shù)據(jù)流量分組。算法思想首先是構建應用端口表。它是通過離線窮舉搜索方法和數(shù)據(jù)包分析工具對每個對等網(wǎng)應用程序進行檢測與分析,包含應用程序的名稱、其經(jīng)常使用的端口號和協(xié)議。其次是重要端口號的選擇。從捕獲的數(shù)據(jù)包中分析信息:源地址、目的地址、源端口、目的端口號、協(xié)議號。因為源端口和目的端口號通常超過1024,從隨機生成的端口號中區(qū)分對于P2P應用程序重要的端口號。

第三步是生成流量關系圖。大多數(shù)P2P應用程序具有多個支持的功能,在相同P2P流量中有可能發(fā)現(xiàn)它們之間的關系。對前三個過程的結果進行分析,按照對等網(wǎng)應用程序的名稱與關系確定流量分組。分組信息用于P2P應用程序決策,從而提高分析的精確度。

4 P2P數(shù)據(jù)流量分析系統(tǒng)的設計

根據(jù)以上算法,我們設想了P2P網(wǎng)絡流量分析系統(tǒng),用于實時流量的監(jiān)控和分析。該系統(tǒng)主要包括三個模塊,分別是應用端口表模塊、重要端口選擇模塊和流量關系圖模塊。其中,重要端口選擇模塊由一個數(shù)據(jù)包捕獲器、一個數(shù)據(jù)流發(fā)生器和一個同步分組表組成。數(shù)據(jù)包捕獲器從一個網(wǎng)絡鏈接接收原始數(shù)據(jù)包,并生成數(shù)據(jù)包的頭信息,分組頭信息被發(fā)送到數(shù)據(jù)流發(fā)生器里。如果一個數(shù)據(jù)包是同步數(shù)據(jù)包或準同步數(shù)據(jù)包則被存儲在同步分組表中。數(shù)據(jù)流發(fā)生器查找同步分組表,并從每個數(shù)據(jù)流中選擇一個重要端口號。重要端口選擇模塊依靠網(wǎng)絡連接環(huán)境在一個單一的系統(tǒng)或多重系統(tǒng)中實現(xiàn)選擇。假如數(shù)據(jù)包在一個單一系統(tǒng)中被捕獲,重要端口選擇器可以在一個單一的系統(tǒng)中實現(xiàn);如果有多個捕獲器被使用,那么重要端口選擇器模塊應分為高、低級兩層次。最后,流量關系圖模塊對數(shù)據(jù)進行分析,并生成流量關系圖。

5 總結

本文說明了P2P網(wǎng)絡流量的特點和現(xiàn)有的分析機制不適于當前網(wǎng)絡流量分析的原因,并提出了算法思想,其與過去相比復雜而精確。利用該算法設計了一個分析系統(tǒng),使用該系統(tǒng)可以分析大量的未知的無法用傳統(tǒng)分析方法進行監(jiān)控的數(shù)據(jù)流量。另外,該算法還可以進一步改進,特別是數(shù)據(jù)流量關系中的算法。該算法還可以應用于其他網(wǎng)絡類型中數(shù)據(jù)流量的監(jiān)控與分析,比如網(wǎng)絡游戲和網(wǎng)絡流媒體等數(shù)據(jù)處理業(yè)務中。

參考文獻:

[1]劉芳,網(wǎng)絡流量監(jiān)測與控制,北京郵電大學出版社,2009年9月.

[2]高彥剛,實用網(wǎng)絡流量分析技術,電子工業(yè)出版社,2009年7月.

篇6

【關鍵詞】 分層網(wǎng)絡 交換機 設計規(guī)格

一、前沿

選擇交換機硬件時,應確定核心層、分布層和接入層分別需要何種交換機來滿足網(wǎng)絡帶寬需求,應考慮未來的帶寬需。應購買合適的交換機硬件來滿足當前及未來的帶寬需求。為了更準確地選擇合適的交換機,要定期執(zhí)行和記錄流量分析。

二、流量分析

流量分析是測量網(wǎng)絡帶寬使用率并分析相關數(shù)據(jù)來調(diào)整性能、規(guī)劃容量并作出硬件升級決策的過程,流量分析是通過流量分析軟件來實現(xiàn)的。盡管對網(wǎng)絡流量并沒有確切的定義,但為了便于理解流量分析,可以理解為網(wǎng)絡流量是指在一定時間內(nèi)通過網(wǎng)絡發(fā)送的數(shù)據(jù)量。所有的網(wǎng)絡數(shù)據(jù)無論來自何方,無論發(fā)往何處,都是流量的一部分。監(jiān)控網(wǎng)絡流量的方法有許多種。可以手工監(jiān)控各個交換機端口來收集一段時間內(nèi)的帶寬利用率。在分析流量數(shù)據(jù)時,可能根據(jù)每天特定時段的流量以及大部分數(shù)據(jù)的來源和目的地來確定未來的流量需求。但是,為了獲得準確地結果,需要記錄足夠的數(shù)據(jù)。手工記錄流量數(shù)據(jù)是件費時費力的機械活,市面上有一些自動化的解決方案。

三、分析工具

現(xiàn)在市面上有許多流量分析攻擊可以將流量數(shù)據(jù)自動記錄到數(shù)據(jù)庫中,并執(zhí)行趨勢分析。在大型網(wǎng)絡中,采用軟件收集解決方案是唯一有效的流量分析方式。通過軟件收集數(shù)據(jù)時,可以看到在給定的時間內(nèi)網(wǎng)絡上每個接口的運行狀況。通過輸出的圖表,可以直觀的發(fā)現(xiàn)流量問題。比用柱狀表示的流量數(shù)據(jù)更容易理解。

四、用戶群分析

用戶群分析是確定各類用戶群體及其對網(wǎng)絡性能的影響的過程,用戶的分組方式會影響與端口密度和流量有關的問題,進而影響網(wǎng)絡交換機的選擇。

在典型的辦公樓中,一般根據(jù)終端用戶的職能對其進行分組,這是因為相同職能用戶所需訪問的資源和應用程序也大體相同。每個部門的用戶數(shù)、應用程序需求以及需要通過網(wǎng)絡訪問的可用數(shù)據(jù)資源各有不同。不僅要查看網(wǎng)絡中指定交換機上的設備數(shù)量,還應該調(diào)查終端用戶應用程序生產(chǎn)的網(wǎng)絡流量。有些用戶群使用產(chǎn)生大量網(wǎng)絡流量的應用程序,而其他用戶則不然,通過測量不同用戶群使用的所有應用程序所生成的網(wǎng)絡流量并確定數(shù)據(jù)源的位置,可以確定增加用戶對該用戶群的影響。

小企業(yè)中工作組大小的用戶群僅用幾臺交換機提供支持,通常連接到服務器所在的交換機上。在中型企業(yè)中,用戶群由許多交換機提供支持。中型企業(yè)用戶群所需的資源可能位于地理上分散的若干區(qū)域中。因此,用戶群的位置會影響數(shù)據(jù)存儲和服務器的位置。分析用戶群的應用程序使用率的難題之一是使用率并非純粹取決于用戶所在的部門或地理位置。還需要分析應用程序穿越多臺網(wǎng)絡交換機所帶來的負面影響。并據(jù)此確定總體影響。

五、數(shù)據(jù)存儲和數(shù)據(jù)服務器分析

在分析網(wǎng)絡流量時,應考慮數(shù)據(jù)存儲和服務器的位置,以便確定它們對網(wǎng)絡流量的影響。數(shù)據(jù)存儲可以是服務器、存儲區(qū)域網(wǎng)絡(SAN)、網(wǎng)絡連接存儲(NAS)、磁帶備份設備或任何其他存儲大量數(shù)據(jù)的設備或組件。

在考慮數(shù)據(jù)存儲和服務器的流量時,應同時考慮客戶端到服務器的流量和服務器到服務器的流量。通過觀察不同用戶群使用的各種應用程序的數(shù)據(jù)路徑,可以找到潛在的瓶頸,確定在哪些地方因為帶寬不足會影響應用程序的性能。為改善性能,可以聚合鏈路來提供帶寬,或者使用能夠處理流量負載的快速交換機來取代慢速交換機。

六、拓撲結構圖

拓撲結構圖是網(wǎng)絡基礎架構的圖形表現(xiàn)形式,拓撲結構圖顯示所有的交換機如何互連,乃至詳細到哪個交換機端口與設備互連。拓撲結構圖以圖形的形式顯示交換機之間用于提供災難恢復和性能增強的任何冗余路徑或聚合端口,顯示網(wǎng)絡中交換機的位置和數(shù)目并標出交換機的配置。通過拓撲結構圖,可以直觀地找到網(wǎng)絡流量的潛在瓶頸,可以抓住流量分析數(shù)據(jù)的要點,知道哪些網(wǎng)絡區(qū)域的改進能夠最有效地提高網(wǎng)絡的整體性能。

七、結語

對于中小型企業(yè)而言、基于數(shù)據(jù)、語音和視頻的數(shù)字通信至關重要。因此,正確設計局域網(wǎng)是企業(yè)日常運營的基本需求。作為網(wǎng)絡技術人員,必須能夠判斷什么才是設計合理的局域網(wǎng),能夠選擇合適的設備來滿足中小型企業(yè)的網(wǎng)絡需求。

參 考 文 獻

[1] 郭利鋒,王勇,張磊,白焱. AFDX交換機的隊列整形調(diào)度研究[J]. 計算機工程,2011,(24):58-60

篇7

電力綜合數(shù)據(jù)網(wǎng)的深化應用對異常流量的檢測和分析提出了更高的要求。本文通過對電力綜合數(shù)據(jù)網(wǎng)的流量數(shù)據(jù)結構進行分析,驗證了電力綜合數(shù)據(jù)網(wǎng)正常單位流量具有穩(wěn)定的信息熵。在此基礎上,提出了通過對數(shù)據(jù)流量五元組熵值的分析來判斷異常流量的方法,并對綜合數(shù)據(jù)網(wǎng)流量結構進行建模,提出應用支持向量機的算法對異常流量進行識別。

【關鍵詞】綜合數(shù)據(jù)網(wǎng) 異常流量 支持向量機

1 某電網(wǎng)綜合數(shù)據(jù)網(wǎng)流量分析現(xiàn)狀

目前某電網(wǎng)公司綜合業(yè)務數(shù)據(jù)網(wǎng)以主數(shù)據(jù)中心和同城災備中心為核心,與全省各地供電局的綜合數(shù)據(jù)網(wǎng)絡核心形成互聯(lián),互聯(lián)鏈路采用萬兆以太網(wǎng)傳輸技術,形成一個電網(wǎng)綜合數(shù)據(jù)業(yè)務傳輸?shù)某休d網(wǎng)平臺。具體網(wǎng)絡拓撲如下所示:

該電網(wǎng)公司綜合數(shù)據(jù)網(wǎng)絡核心日常數(shù)據(jù)流量已超過1GB,流量監(jiān)控使用ARBOR流量分析設備來完成,通過Netflow的方式監(jiān)測骨干層各中心匯聚設備連接到省中心的端口。

目前,該電網(wǎng)公司流量分析系統(tǒng)具備的主要功能包括:

(1)能夠得到端到端用戶體檢的量化數(shù)據(jù),包括端到端的全過程響應時間。

(2)能夠得到網(wǎng)絡傳輸時延的數(shù)據(jù),并考慮到不同數(shù)據(jù)包大小情況的網(wǎng)絡傳輸時延。

(3)能夠得到應用系統(tǒng)各個交互過程的響應時間的數(shù)據(jù)。

(4)能夠根據(jù)時間迅速定位流量,并根據(jù)地址、端口等信息迅速將所需網(wǎng)絡流量數(shù)據(jù)包檢索并抽取出來進行分析。

由以上功能點的統(tǒng)計分析,可以得知,目前該電網(wǎng)的流量分析系統(tǒng)能做到對網(wǎng)絡流量的統(tǒng)計及性能分析,但對網(wǎng)絡流量異常的做不到良好的預警。

2 流量異常檢測方法

自Denning研究異常檢測模型以來,網(wǎng)絡異常檢測方法的研究就一直受到學術界的極大關注。白玉峰研究致力于利用流量大小(如流數(shù)、分組數(shù)或字節(jié)數(shù))來檢測網(wǎng)絡異常并獲得巨大成功,但是這類方法面臨的問題是:并非所有的異常都會引起流量大小的顯著變化;此外,采用不同的流量測度可能會識別出不同的流量異常,因此僅僅采用一種流量測度并不能識別蘊含在流量數(shù)據(jù)中的所有異常。

近年來的大量研究表明,不管是局域網(wǎng)還是廣域網(wǎng),網(wǎng)絡流量都具有明顯的突發(fā)性和長相關性,而網(wǎng)絡的自相似性特性可以很好地描述流量這些特性,所以,自相似性已成為網(wǎng)絡流量的重要特性并以此作為流量異常檢測的基礎?,F(xiàn)今已有大量計算機學科領域的算法和模型被使用在網(wǎng)絡流量的異常檢測方面,文獻采用小波分析方法利用網(wǎng)絡流量在時間尺度上的多重分形,在小波域內(nèi)對網(wǎng)絡流量進行分解,通過計算網(wǎng)絡流量的Hurst指數(shù),根據(jù)正常與異常流量Hurst指數(shù)的偏差來檢測異常,但該方法Hurst指數(shù)與時間尺度緊密相關,只對突發(fā)性的流量具有較好的檢測效果;文獻[1]提出一種融合k-means的聚類檢測算法,該文增量地構建流量矩陣,增量地使用PCA主成分進行異常檢測,這些方法在全網(wǎng)流量異常時檢測效果非常明顯,但算法相對過于復雜使其在實時性上較差;文獻[2] 使用一種基于信息熵的特征選擇算法,降低了檢測數(shù)據(jù)的維數(shù),但增量學習的限制條件比較多,增量學習效率較低。

3 綜合數(shù)據(jù)網(wǎng)流量異常檢測

通過上述分析可以看出,數(shù)據(jù)流五元組的熵值較為穩(wěn)定,可以通過熵值的變化情況來區(qū)分正常流量和異常流量。因此綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題也就是通過對數(shù)據(jù)流量五元組熵值的分析來做出正?;虍惓5呐袛?。

3.1 異常流量檢測模型

針對上文中對流量特性的分析,綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題可以理解為通過已有的流量特征據(jù),將現(xiàn)有的流量分類為正常或異常。模式識別理論是利用已有的信息,按照某種特定的規(guī)則確定未知的樣本的類別屬性,模式識別往往被看作是分類問題,讓機器自身從環(huán)境中分離出某種模式并對未知樣本的歸類做出合理的判斷。因此,可以將模式識別應用于綜合數(shù)據(jù)網(wǎng)的異常力量檢測,通過對己有的數(shù)據(jù)流量的熵值樣本進行學習,建立規(guī)律模型,利用該模型對未知樣本進行分類。

3.2 異常檢測算法

首先使用一定數(shù)量的正常流量和異常流量數(shù)據(jù)作為訓練樣本輸入到支持向量機之中,根據(jù)這些訓練數(shù)據(jù)輸出一個模型,這個模型實際上就是通過樣本構造的決策函數(shù)。然后將測試數(shù)據(jù)輸入該模型進行分類。

3.2.1 訓練階段

根據(jù)信息熵的定義,對樣本流量的五元組分別求熵,建立樣本流量的五維熵值向量。使用核函數(shù)將向量從五維變換到高位,再將數(shù)據(jù)作為訓練樣本輸入到支持向量機之中,根據(jù)這些訓練數(shù)據(jù)構造的一個決策函數(shù)。

3.2.2 檢測階段

將檢測流量輸入模型進行檢測,分類結果為1則為正常流量,分類結果為-1即為異常流量。

4 結束語

本文通過對電力綜合數(shù)據(jù)網(wǎng)的流量數(shù)據(jù)結構進行分析,驗證了電力綜合數(shù)據(jù)網(wǎng)正常數(shù)據(jù)符合重尾分布,且正常單位流量具有穩(wěn)定的信息熵。在此基礎,對綜合數(shù)據(jù)網(wǎng)流量結構進行建模,采用支持向量機的識別算法對異常流量進行識別。實驗結果表明,在異常流量比例大于5%的條件下,算法能夠檢測出網(wǎng)絡中的異常數(shù)據(jù)。

下一步的工作是深入研究電力綜合數(shù)據(jù)網(wǎng)異常流量的類型以及各種異常流量對流量結構的影響,改進檢測算法,進一步提升算法的精度。

參考文獻

[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering,1987,13(2):222-232.

[2]TORRES R,HAJJAT M,RAO SG,et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA,2009,231-242.

[3]GU G,PERDISCI R,ZHANG J,et al.BotMiner:clustering analysis of network traffic for protocol and structure-independent botnet detection[A].USENIX Security[C].USA.,2008,67-76.

篇8

【關鍵詞】 電力通信 負載均衡 拓撲優(yōu)化 流量分析

一、電力通信業(yè)務流量特征

電力通信網(wǎng)絡在我國電網(wǎng)系統(tǒng)中占據(jù)重要位置,其在電力生產(chǎn)、運行和管理等各方面的業(yè)務中發(fā)揮重要支撐作用,大量的電力信息需要電力通信網(wǎng)絡來完成收集、傳輸與存儲。隨著我國電力系統(tǒng)建設的不斷深入,以及電力業(yè)務的不斷擴大,網(wǎng)絡流量呈幾何級數(shù)增長,業(yè)務類型也日趨復雜,這給電力通信網(wǎng)絡的安全、可靠、實時運行提出了更大的挑戰(zhàn)。在這種背景下,建立有效的流量分析和預測方法,可以為網(wǎng)絡規(guī)劃、協(xié)議設計、路由精確控制提供決策依據(jù),對電力通信網(wǎng)絡性能的分析和優(yōu)化具有積極的意義。

通常來說,智能電網(wǎng)中的電力通信網(wǎng)絡可劃分為三類子網(wǎng),即電力通信綜合業(yè)務數(shù)據(jù)網(wǎng)、電力通信調(diào)度數(shù)據(jù)網(wǎng)、變電站站內(nèi)通信網(wǎng)。對各類子網(wǎng)的承載業(yè)務進行分析可知,當前我國電力通信網(wǎng)絡業(yè)務可歸納為三種類型,即視頻類業(yè)務、數(shù)據(jù)類業(yè)務、語音類業(yè)務。電力通信網(wǎng)絡的流量具有重要的特征,比如自相似性和長相關性、多重分形性、周期性等。此外,基于我國電力通信系統(tǒng)的基本情況,對視頻業(yè)務、語音業(yè)務和數(shù)據(jù)業(yè)務的速率、丟包率、抖動幅度、時延、頻率飄移要求等方面進行相關的規(guī)定。

二、I務流量分析和預測

電力系統(tǒng)的日趨龐大使得電力通信網(wǎng)絡流量呈現(xiàn)幾何級增長的趨勢,而且業(yè)務類型也日趨復雜,以網(wǎng)絡為載體傳輸?shù)碾娏π畔⒌膫鬏斝问揭哺佣鄻踊?,這給電力通信網(wǎng)絡的安全、可靠、實時運行提出了新的的要求。在對當前電力通信網(wǎng)絡情況下,對網(wǎng)絡流量進行分析和預測是電力通信研究的關鍵核心問題,對電力通信網(wǎng)絡、電力網(wǎng)絡的安全可靠運行具有積極的意義。對于電力通信網(wǎng)絡的相關研究而言,常用的網(wǎng)絡流量模型有:ARIMA模型、重尾分布的ON/OFF模型、馬爾可夫/半馬爾可夫模型、泊松模型、離散小波模型等。但結合當前我國電力通信系統(tǒng)的實際要求對各種模型進行分析可知,傳統(tǒng)的泊松模型、馬兒可夫模型只具有短相關性,難以描述流量的突發(fā)性和自相似特性,而ARIMA模型則相對較為高效。

三、基于ARIMA的建模分析

3.1 ARIMA建模分析

3.2殘差檢驗和預測

在建立電力通信業(yè)務流量分析與預測模型之后,還需要結合電力通信系統(tǒng)的實際情況對其適應性進行檢驗。模型的適應性是指模型已經(jīng)完全或基本上反應了系統(tǒng)的動態(tài)性,從而模型中的殘差εt是白噪聲序列,即完成了εt的獨立性檢驗。目前殘差檢驗法主要有兩種,即判斷殘差的自相關和偏自相關函數(shù)圖、Ljung-Box檢驗法。計算LB(Ljung-Box)統(tǒng)計量為:

經(jīng)過殘差檢驗的ARIMA模型就可以用來對電力通信網(wǎng)絡業(yè)務流量進行預測,從優(yōu)化網(wǎng)絡性能,提高網(wǎng)絡服務質(zhì)量。

3.3基于ARIMA模型的電力通信業(yè)務流量分析與預測

在電力通信網(wǎng)絡系統(tǒng)中,傳輸?shù)男畔㈩愋椭饕ㄒ曨l、語音與數(shù)據(jù)類,其中語音類業(yè)務在逐步萎縮,其數(shù)據(jù)量較小,而數(shù)據(jù)業(yè)務與視頻業(yè)務的數(shù)據(jù)量大,傳輸質(zhì)量要求高,因此需對視頻類與數(shù)據(jù)類業(yè)務流量進行建模分析。

對于生產(chǎn)數(shù)據(jù)承載業(yè)務流量而言,主要包含運行信息類業(yè)務與運行控制類業(yè)務,對這類業(yè)務數(shù)據(jù)的采集需要24小時時段數(shù)據(jù),在采集到相關數(shù)據(jù)之后,利用自相關函數(shù)和偏自相關函數(shù)圖分析可知其不是穩(wěn)定的序列,那么需要對其進行周期性和趨勢性設計,進而得到平穩(wěn)的時間序列。獲得平穩(wěn)的時間序列之后建立模型,需確定p、d、q、P、D、Q參數(shù),并利用SPSS軟件建立ARIMA(p,d,q)(P,D,Q)模型,之后進行殘差檢驗和預測,最終得到符合要求的模型。對于視頻類業(yè)務流量的建模分析流程與數(shù)據(jù)類業(yè)務流量建模流程相似,其具體流程為:數(shù)據(jù)承載業(yè)務分析數(shù)據(jù)采集與預處理模型參數(shù)確立建立模型殘差檢驗和預測。

參 考 文 獻

推薦期刊
九九热国产视频精品,免费国产不卡一级αⅴ片,欧美日韩蜜桃在线播放,精品国内自产拍99在线观看
日日噜噜噜夜夜爽爽国产 | 在线播放AⅤ免费播放国产 日韩一区二区在线|欧洲 | 小h片在线观看免费观看 | 日本人成视频免费观看看 | 亚洲欧美国产va在线播放频 | 色国产综合免费视频在线播放 |