云南聯通容災實施案例
中國聯通云南分公司計費信息系統部 李衛(wèi)民
2004/05/24
項目概述
本次的容災工程涉及到云南聯通的綜合營帳系統、短消息計費系統，分別運行在不同的操作系統平臺上，其數據也分布在不同的存儲設備上。業(yè)務系統已投入生產使用，所以，在整個工程實施過程中減小對運行業(yè)務的影響是重中之重。同時，由于各個系統數據分別存儲在不同的中檔磁盤陣列上，若實現磁盤陣列級容災，必須采用更高端磁盤陣列，因此，實現容災業(yè)務系統的數據需要遷移到高端的磁盤陣列。
本期工程采用了HP高端磁盤陣列XP512進行遠程數據容災，在云南聯通業(yè)務中心本地新增一臺HP XP512。同時，在異地備份中心新增一臺XP512存儲服務器，作為主生產中心XP512的異地容災備份。本次容災的建設目標是對綜合營帳系統、專業(yè)計費、短消息計費系統進行同城異地數據級容災的綜合數據容災系統，業(yè)務系統的數據將可以通過基于XP磁盤陣列的Continuous Access XP軟件實時同步復制到備份數據中心的XP512中，從而實現數據的遠程保護
下圖是方案規(guī)劃的容災系統示意圖（見圖1）。
硬件環(huán)境的搭建在此就不贅述，下面主要從整個工程的重點和難點：系統遷移進行著重介紹。
系統遷移需求分析
在本次案例實施中，選取營業(yè)系統的遷移做簡要說明。
一、系統現狀
綜合營賬系統應用目前運行在兩臺主機superdome組成的群集上，其中一臺運行營業(yè)的應用，另一臺運行賬務的應用。數據存儲在一臺MA8000磁盤陣列中，由于系統數據量較大，營業(yè)和賬務的數據遷移工作必須分開進行，所以在一個系統數據遷移完畢后，MA8000磁盤陣列仍然需要在線，以保證其他系統遷移前的正常工作。
二、系統數據遷移要求
由于需遷移系統均為在線運行，因此，要盡量減少業(yè)務的影響。為此，整個遷移過程必須按以下步驟進行：
1．營業(yè)系統負責全省所有業(yè)務受理及客服系統的查詢，如發(fā)生長時間中斷，會對業(yè)務及公司形象帶來非常不利影響。因此，業(yè)務中斷必須在夜間或業(yè)務量較少時進行。
2．遷移前必須制定詳細的時間計劃表，每一步驟必須有專人負責。
3．系統要求：在遷移過程中系統設備具有可恢復性（事先做好備份和回退計劃），遷移后系統能夠運行正常。
4．數據要求：保證數據的完整性和可恢復性。
三、風險分析
由于目前營業(yè)系統屬于實時生產系統，保證系統應用在停機遷移后仍能正常啟動服務和系統數據在遷移過程中不受損壞是本次遷移的重點。因此本次系統遷移責任非常重大，如果沒有周密的計劃、精心的組織，一旦出現問題，必將導致重大的責任事故。為了保證遷移的順利實施，根據系統現狀進行了風險分析。
實施原則
完成項目的總原則是：按照方案的要求完成系統遷移工作，盡可能減少對營業(yè)業(yè)務的影響。
由于責任重大，當在實施中發(fā)生便捷與風險的矛盾時，要永遠將規(guī)避風險放在首位。
實施重點
實施的重點在于系統遷移的前期準備、遷移后數據一致性檢查及應用的測試驗證工作。
系統遷移的切換發(fā)生在一個時間段，怎樣把這個時間段縮短，進而保證對整個系統的影響最小、風險最小，這就需要我們把前期準備做好、做足。
實施難點
實施的難點在于系統遷移過程中應急情況下系統和數據的可恢復性。
通過與相關人員的討論，確定了系統和數據的備份方案并論證了操作的可恢復性。
存在風險
項目中的風險貫穿于整個實施過程，在項目實施前應充分考慮到所有可能存在的風險，考慮出現風險時的應急措施，采取相應的手段規(guī)避風險。可能存在的風險有：
1.系統遷移的數據量較大，需要計劃足夠的時間；
2.設備在遷移中損壞，需要原廠及時響應；
3.系統結構比較復雜，營業(yè)系統的遷移可能對客服系統產生影響。
營業(yè)系統遷移計劃
根據以上分析，總體計劃分為前期準備階段、系統遷移實施階段和遷移后系統試運行階段三個階段。
一、 前期準備階段
前期準備階段是整個系統遷移成功的關鍵，該階段需要完成的工作有：
1.掌握系統的現狀、分布、IP地址、用途等，制定詳細遷移任務清單；
2.通過實驗確定系統遷移的操作并估算數據遷移需要的時間；
3.論證系統和數據備份的方式；
4.在XP512磁盤陣列上劃分數據移植所需的磁盤空間；
5.確立實施時間表及人員配備與分工；
6.制定可行的應急方案，論證操作的可恢復性；
7.了解需求的基礎上，分析項目實施重點和難點，對遷移的實施進行深層次的討論，并就各方負責的實施部分的責任和實施細節(jié)進行細化，確立各方面負責人。最終產生一份科學可行、安全穩(wěn)妥、組織嚴謹、符合要求的系統遷移實施方案。
二、 系統遷移實施階段
為了系統的可靠性、數據的完整性和可恢復性，應對現有系統進行軟硬件方面的檢測，并對系統和數據進行備份，一旦在遷移過程中發(fā)生問題，可以馬上恢復原有系統，保證系統運行。在此階段需要完成的工作有：
1.遷移前的設備檢測，系統、數據備份（如數據庫未打開歸檔，需在實施遷移前打開）；
2.完成營業(yè)系統數據遷移，包括數據庫、文件系統、系統參數調整等；
3.系統遷移后的數據一致性檢測。
其中系統備份前最好對設備硬件和軟件分別進行檢查，確認遷移前系統處于正常狀態(tài)。遷移的每個步驟都要按事先的規(guī)劃進行，并確保操作的可逆性，一旦出現問題系統可以回退到遷移前狀態(tài)。
營業(yè)系統遷移應急措施
一、系統遷移前的異常
如果在規(guī)劃的時間點之前沒有完成系統遷移準備階段的任務，系統遷移時間順延，在確保準備工作就緒的前提下才進行系統遷移。在系統開始遷移前請相關人員進行系統健康性檢查，確保在遷移前系統完好。
二、系統遷移過程中的異常
本次營業(yè)系統遷移的原則是確保系統在規(guī)劃的遷移時間段之外可以正常運行。由于營業(yè)系統遷移安排在夜間進行，為確保系統在發(fā)生硬件或軟件故障時能夠及時得到技術響應，需要協調各相關人員（包括原廠商技術人員）到位。在執(zhí)行遷移的過程中操作步驟具有可逆性，確保以外發(fā)生的時候可將系統迅速回退到最初狀態(tài)。系統和數據在遷移前都做最新的備份。如果遷移工作在凌晨6：00前沒有完成，也要將系統回退到遷移前狀態(tài)，保障系統在8：00前正常運行。
三、 系統遷移后的異常
營業(yè)系統在數據遷移到XP512后，原有MA8000磁盤陣列中的數據繼續(xù)保留一段時間，以觀察新系統的穩(wěn)定性。如果在試運行期新系統發(fā)生故障，仍可以讓營業(yè)系統回退到遷移前狀態(tài)。
數據庫遷移
一、數據庫信息調查
數據庫的遷移主要是所有數據文件、重做日志、控制文件的遷移，在準備階段需調查清楚所有在用的數據文件、重做日志、控制文件所在裸盤的詳細情況。同時建議數據庫管理員在遷移前盡量不要添加新的數據文件，如遇特殊情況需增加新的數據文件，則必須通知工程項目組對已調查的數據進行更新。
二、在XP512上創(chuàng)建物理卷組和對應的邏輯卷
根據收集的信息,在XP512上為營業(yè)系統劃分的物理空間上創(chuàng)建新卷組，然后在新卷組上創(chuàng)建邏輯卷，最后給主機數據庫用戶分配權限。
三、數據庫備份與遷移
營業(yè)數據庫采用的是ORACLE。推薦采用物理備份，該方法實現數據庫的完整恢復，但數據庫必須運行在歸檔模式下，且需要足夠的外部存儲設備，例如磁帶庫、硬盤空間等。物理級的備份主要是備份數據文件、控制文件、聯機重做日志文件、歸擋日志文件、回退段等。
1. Oracle數據庫物理備份準備。
A 打開數據庫歸檔；
B 數據庫移植前幾天做一次全備,移植當天晚上做增量備份；
2. 數據庫物理備份。
A 使用dd拷貝和在sqlplus下用"alter database backup controlfile to trace"分別備份數據庫控制文件；
B 數據庫做增量備份。
3．修改inityy.ora文件，指定新的controlfile name（在XP512上），確保數據庫可以啟動，確保歸檔備份目錄有足夠空間。
4．停主機上所有應用程序，正常宕數據庫，完后重啟數據庫（不啟監(jiān)聽），根據業(yè)務情況編寫SQL提取一致性數據，將結果用spool輸出至一文本文件中保存。此外建議使用"alter system switch logfile"將所有日志組均做一次切換。
5．再次檢查數據庫數據文件是否與調查結果一致。
6．正常宕數據庫，用dd物理移植數據文件、控制文件、日志文件到XP512上，實際可生成多個shell并行執(zhí)行。
7．在XP512上啟動數據庫到mount狀態(tài)，將數據文件指向XP512。
8．將數據庫open，在XP512上給tempspace增加新的數據文件，然后刪除原來MA8000上的數據文件。
9．運行遷移前的同一SQL提取一致性數據，將新生成的文本文件與遷移前生成的文本文件比較是否一致。
10．在測試環(huán)境中進行應用程序的驗證。
四、 異常情況處理
原存儲設備MA8000的邏輯卷不會立即刪除, 這樣原來數據庫數文件，日志文件不會丟失，即便有控制文件更改，也可用控制文件恢復, 如遷移有問題或時間過長，要留出恢復時間，用原來數據文件、日志文件、控制文件啟動原數據庫。要求在測試階段，只能對數據庫的內容進行可控的增加、刪除、修改。只有多方確認無問題情況下，才能啟動應用。同時做好歸檔的保存,如聯機重做日志少,可考慮增加幾組聯機重做日志。
工程試運行及演習
系統遷移工作成功后，工程即進入試運行階段，在此期間相關人員需定時觀察主機運行狀態(tài)、主備兩個中心XP512的同步狀態(tài)及數據庫運行狀態(tài)并記錄。系統穩(wěn)定運行后，應制定定期進行主備中心切換的容災演習制度，發(fā)現問題立即解決，確保在發(fā)生災難時系統的可恢復性。
中國計費網(www.billingchina.com)
相關鏈接:
东乌|
那曲县|
理塘县|
长海县|
车致|
繁峙县|
武宣县|
信宜市|
民丰县|
黔西县|
汝城县|
洞头县|
奉贤区|
汉寿县|
双峰县|
太原市|
双柏县|
青浦区|
郑州市|
卢龙县|
万盛区|
巴彦淖尔市|
高雄市|
湘阴县|
承德县|
沭阳县|
缙云县|
高尔夫|
洛宁县|
彰化市|
大方县|
道真|
冷水江市|
四子王旗|
榕江县|
沙雅县|
安阳县|
绵阳市|
永康市|
灵台县|
鸡东县|