案例背景
某大學(xué)校園網(wǎng)內(nèi)部的數(shù)據(jù)中心最近一段時(shí)間通過(guò)流量監(jiān)控設(shè)備發(fā)現(xiàn)流量比以前高很多，校內(nèi)及校外均有人反映訪問(wèn)數(shù)據(jù)中心服務(wù)器的速度比較慢。根據(jù)用戶介紹前段時(shí)間在數(shù)據(jù)中心與校園網(wǎng)核心交換機(jī)之間部署了一臺(tái)流量分流設(shè)備，用于IDS及其他安全設(shè)備采集網(wǎng)絡(luò)數(shù)據(jù)。用戶懷疑是該設(shè)備問(wèn)題導(dǎo)致的異常，但并沒有有力的證據(jù)。
根據(jù)故障現(xiàn)象我們?cè)谟脩艟W(wǎng)絡(luò)中部署了科來(lái)回溯分析系統(tǒng)，分別鏡像流量異常的兩端（校園網(wǎng)核心交換、數(shù)據(jù)中心匯聚交換機(jī)）的流量進(jìn)行數(shù)據(jù)包級(jí)分析。
案例分析
1. 校園網(wǎng)核心交換采集數(shù)據(jù)分析
在校園網(wǎng)核心交換處通過(guò)科來(lái)回溯分析系統(tǒng)采集的數(shù)據(jù)包，我們通過(guò)TCP會(huì)話視圖可以看到從數(shù)據(jù)中心發(fā)過(guò)來(lái)的數(shù)據(jù)包的TCP序列號(hào)兩兩重復(fù)，而且間隔時(shí)間非常短，從核心交換發(fā)往數(shù)據(jù)中心的數(shù)據(jù)包則沒有出現(xiàn)這種情況。這一現(xiàn)象可以排除TCP重傳的可能性，因?yàn)槌瑫r(shí)重傳需要等待兩倍RTT延時(shí)，發(fā)送方不可能如此短的時(shí)間間隔重傳數(shù)據(jù)包。
通過(guò)數(shù)據(jù)包IP Identification字段的比對(duì)，我們可以看到數(shù)據(jù)中心發(fā)到核心交換的數(shù)據(jù)包的IP Identification字段的值會(huì)重復(fù)兩次，如下圖所示。
IP Identification字段是鑒別IP報(bào)文是否重復(fù)的重要指標(biāo)，發(fā)送方短時(shí)間不會(huì)構(gòu)造兩個(gè)IP Identification字段相同的報(bào)文，因此我們可以斷定這些報(bào)文是在到達(dá)校園網(wǎng)核心交換這段鏈路上被中間設(shè)備額外復(fù)制了一份。
初步懷疑有以下幾種可能：
- 數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)設(shè)備問(wèn)題；
- 位于數(shù)據(jù)中心與核心交換中間的流量分流設(shè)備在復(fù)制流量時(shí)發(fā)生異常；
- 校園網(wǎng)核心交換鏡像功能異常；
由于數(shù)據(jù)中心原本流量就比較高，數(shù)據(jù)包被重復(fù)發(fā)送導(dǎo)致了鏈路流量過(guò)高出現(xiàn)了擁塞。要準(zhǔn)確定位原因需要在數(shù)據(jù)中心匯聚交換機(jī)采集出口鏈路的流量才能夠進(jìn)一步判斷問(wèn)題點(diǎn)。
2. 數(shù)據(jù)中心出口采集數(shù)據(jù)分析
在數(shù)據(jù)中心出口采集到的數(shù)據(jù)包，其現(xiàn)象與核心交換處的現(xiàn)象正好相反：從核心發(fā)過(guò)來(lái)的數(shù)據(jù)包會(huì)重復(fù)兩次，發(fā)往核心的數(shù)據(jù)包沒有重復(fù)。
由于在數(shù)據(jù)中心并未看到數(shù)據(jù)中心發(fā)出的報(bào)文有重復(fù)現(xiàn)象，而在核心交換也未看到核心發(fā)往數(shù)據(jù)中心的報(bào)文重復(fù)，我們可以排除數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)設(shè)備和核心交換機(jī)鏡像異常的可能性。
案例分析結(jié)論
通過(guò)數(shù)據(jù)比對(duì)，我們可以看到單一的數(shù)據(jù)包在經(jīng)過(guò)流量分流設(shè)備到達(dá)另外一端后就會(huì)出現(xiàn)重復(fù)一次的現(xiàn)象，可以判斷很可能是流量分流設(shè)備導(dǎo)致的問(wèn)題。
用戶將這一信息告知流量分流設(shè)備廠商后，廠商技術(shù)人員經(jīng)過(guò)仔細(xì)核查確認(rèn)配置存在錯(cuò)誤，進(jìn)行了調(diào)整后網(wǎng)絡(luò)回復(fù)正常。
