伴隨著數(shù)據(jù)大集中、業(yè)務(wù)應(yīng)用不斷增多、以及用戶對業(yè)務(wù)連續(xù)性要求的不斷提高，分布式雙活數(shù)據(jù)中心日益越來越受到用戶的關(guān)注。

       傳統(tǒng)主-備模式的數(shù)據(jù)中心只是簡單的軟硬件資源的堆砌。正常情況下，主用數(shù)據(jù)中心對外提供業(yè)務(wù)，備用數(shù)據(jù)中心處于閑置狀態(tài)。只有在發(fā)生災(zāi)難宕機的情況下，業(yè)務(wù)系統(tǒng)才從主用中心遷移到備用中心來。然而，災(zāi)難往往只是小概率事件，企業(yè)投入大量人力和物力建設(shè)的備用中心大多時候都是處于閑置狀態(tài)，資源使用率極低。更為重要的是，主-備模式的數(shù)據(jù)中心的RTO和RPO無法保證業(yè)務(wù)的連續(xù)性。無論采用怎樣的優(yōu)化方式，主-備模式的建設(shè)思路對高可用性的提高、業(yè)務(wù)連續(xù)性的保證只能實現(xiàn)量變，卻一直沒有實質(zhì)性的跨越。

       分布式雙活數(shù)據(jù)中心的出現(xiàn)，讓我們找到了優(yōu)化投資利用率、保證業(yè)務(wù)連續(xù)性的新思路。然而，建設(shè)分布式雙活數(shù)據(jù)中心需要網(wǎng)絡(luò)系統(tǒng)、存儲系統(tǒng)、計算資源甚至包括應(yīng)用系統(tǒng)等多個IT系統(tǒng)之間緊密合作，是一個龐大的系統(tǒng)工程。本文將詳細介紹分布式雙活數(shù)據(jù)中心的第一塊敲門磚——網(wǎng)絡(luò)系統(tǒng)雙活的部署方案。
簡單來講，網(wǎng)絡(luò)系統(tǒng)雙活主要由以下兩大部分技術(shù)構(gòu)成。

•        數(shù)據(jù)中心間大二層網(wǎng)絡(luò)技術(shù)——EVI。通過大二層網(wǎng)絡(luò)，可以實現(xiàn)跨數(shù)據(jù)中心的集群、資源共享和故障探測，它是保證故障發(fā)生后到故障切換中間過程不丟包的重要手段。在數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)是實現(xiàn)網(wǎng)絡(luò)雙活的基礎(chǔ)
   
•        負載均衡技術(shù)。通過負載均衡技術(shù)，可以實現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以及在單數(shù)據(jù)中心內(nèi)多服務(wù)器的負載分擔；同時，負載均衡設(shè)備也是探測業(yè)務(wù)故障實現(xiàn)自動切換的關(guān)鍵實現(xiàn)點。

一、 數(shù)據(jù)中心間大二層技術(shù)——EVI

        實際生產(chǎn)環(huán)境中，企業(yè)往往已經(jīng)建設(shè)了同城雙中心甚至是兩地三中心，但是還沒有實現(xiàn)二層擴展，因此需要使用EVI實現(xiàn)大二層擴展。EVI是一種先進的“MAC in IP”技術(shù)，用于實現(xiàn)基于IP核心網(wǎng)絡(luò)的L2VPN技術(shù)。多數(shù)據(jù)中心間通過EVI技術(shù)在站點的邊緣設(shè)備上維護路由和轉(zhuǎn)發(fā)信息，而無需改變站點內(nèi)部和核心網(wǎng)絡(luò)。
EVI整體網(wǎng)絡(luò)由核心網(wǎng)絡(luò)、站點網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)組成（如圖1所示）：

圖1 EVI網(wǎng)絡(luò)模型
 

•        核心網(wǎng)絡(luò)是主要由IP路由設(shè)備承載的提供站點網(wǎng)絡(luò)之間互聯(lián)的網(wǎng)絡(luò)；
   
•        站點網(wǎng)絡(luò)是通過一臺或者多臺邊緣設(shè)備連接到核心網(wǎng)絡(luò)、具有獨立業(yè)務(wù)功能的二層網(wǎng)絡(luò)，通常由單個組織管理控制，主要由主機和交換設(shè)備組成，邊緣設(shè)備提供站點之間的二層交換功能；
   
•        虛擬網(wǎng)絡(luò)是站點邊緣設(shè)備之間建立的虛擬二層網(wǎng)絡(luò)，提供站點網(wǎng)絡(luò)之間的二層互聯(lián)，相互通告連接到邊緣設(shè)備所有主機和路由器的MAC地址，將多個站點互聯(lián)形成更大的二層轉(zhuǎn)發(fā)域；虛擬網(wǎng)絡(luò)實現(xiàn)VLAN在不同站點之間的擴展，主要由虛擬接口和虛擬連接組成，在數(shù)據(jù)平面承載站點間擴展的VLAN的二層流量，在控制平面通過IGP協(xié)議在站點之間通告主機和路由器的MAC地址可達性信息，管理平面通過鄰居發(fā)現(xiàn)協(xié)議來實現(xiàn)站點的自動發(fā)現(xiàn)功能，簡化網(wǎng)絡(luò)配置管理工作。另外，虛擬網(wǎng)絡(luò)還實現(xiàn)了ARP、未知單播、組播流量優(yōu)化功能來減少廣播流量對帶寬的占用以及對服務(wù)器資源的消耗。

       通常，數(shù)據(jù)中心內(nèi)部不同的VLAN承載不同的業(yè)務(wù)功能，而需要擴展的數(shù)據(jù)中心站點也不完全相同。EVI通過虛擬網(wǎng)絡(luò)支持多實例功能，不同實例的控制平面協(xié)議交互以及數(shù)據(jù)平面流量轉(zhuǎn)發(fā)完全隔離。每個實例表示一個VPN，使用Network ID來唯一標識。如圖2所示定義了三個VPN實例。

圖2虛擬網(wǎng)絡(luò)多實例示意
 

      （如圖3所示）在需要二層擴展的數(shù)據(jù)中心邊緣加入支持EVI的互連設(shè)備，不需要對原有數(shù)據(jù)中心架構(gòu)做大的改動，只要EVI邊緣設(shè)備之間IP可達，就可以在核心網(wǎng)上構(gòu)建一張?zhí)摂M的二層網(wǎng)絡(luò)。這樣簡單靈活的擴展方式大大簡化了用戶實際部署的復(fù)雜度，并且對現(xiàn)網(wǎng)生產(chǎn)業(yè)務(wù)的影響減少到最小。

圖3 EVI典型組網(wǎng)圖
 

       通過EVI技術(shù)，可以在多個物理形態(tài)的數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)，將多個物理數(shù)據(jù)中心里的資源虛擬為一個虛擬數(shù)據(jù)中心對外提供服務(wù)。

二、 負載均衡技術(shù)

       實現(xiàn)靈活業(yè)務(wù)流量調(diào)試，有兩個主要的設(shè)備：GTM和LTM。GTM（Global Traffic Manager，全局負載均衡設(shè)備）主要完成用戶解析DNS功能；LTM（Local Traffic Manager，本地負載均衡設(shè)備）主要負責(zé)對內(nèi)部服務(wù)器健康狀態(tài)檢查、將訪問流量分擔到不同服務(wù)器以及出口流量的鏈路負載分擔。GTM可以和LTM聯(lián)動，當LTM檢測到本設(shè)備管轄的服務(wù)器資源故障，不能對外提供服務(wù)時，GTM可以對DNS解析做替換。同時LTM會實時保持與GTM聯(lián)動，將檢測到的服務(wù)器健康狀況上報給GTM。
針對用戶不同的業(yè)務(wù)發(fā)布模式，我們細分了以下兩種建設(shè)場景。

1. 場景一：基于DNS發(fā)布業(yè)務(wù)的雙活

圖4基于DNS發(fā)布業(yè)務(wù)的雙活數(shù)據(jù)中心
 

（如圖4所示）基于DNS發(fā)布業(yè)務(wù)的數(shù)據(jù)中心網(wǎng)絡(luò)雙活主要由以下五部分完成：

      ①GTM通過就近性探測實現(xiàn)客戶端訪問路徑的優(yōu)化；
      ②GTM根據(jù)就近性探測結(jié)果實現(xiàn)數(shù)據(jù)中心之間流量分擔；
      ③LTM對服務(wù)器進行健康檢查并上報給GTM；
      ④GTM根據(jù)LTM上報的服務(wù)器狀態(tài)實現(xiàn)業(yè)務(wù)的自動切換；
      ⑤LTM實現(xiàn)對多鏈路出口的選擇；
 
       步驟①和②主要是DNS解析的過程。正常情況下，GTM上記錄了A和B兩個數(shù)據(jù)中心入口的IP地址。當有用戶解析業(yè)務(wù)的IP地址時，GTM會根據(jù)設(shè)置的策略向用戶返回不同IP地址。這樣，用戶訪問流量可以分擔到兩個數(shù)據(jù)中心中。這個策略可以是根據(jù)兩個數(shù)據(jù)中心當前的負載情況，也可以是根據(jù)用戶所在地域?qū)⒂脩粢龑?dǎo)至不同的數(shù)據(jù)中心。總之，GTM提供了豐富的選擇策略用于調(diào)度兩個中心的訪問流量。

圖5 DNS解析流程
 

       如圖5所示為用戶訪問網(wǎng)站www.h3c.com.cn DNS解析過程說明舉例。可見，當?shù)谝粋€用戶訪問業(yè)務(wù)時，GTM返回數(shù)據(jù)中心A的IP地址，流量進入數(shù)據(jù)中心A。當?shù)诙€用戶訪問業(yè)務(wù)時，GTM可以返回數(shù)據(jù)中心B的IP地址，這樣流量就進入了數(shù)據(jù)中心B。通過這種最簡單的輪詢機制，實現(xiàn)用戶流量在兩個數(shù)據(jù)中心間智能調(diào)度，同時可以在GTM上設(shè)置更為復(fù)雜的調(diào)度策略。

       步驟③和⑤主要由LTM完成。LTM會實時的檢測本設(shè)備管轄范圍內(nèi)服務(wù)器的健康狀況，這種檢測可以是基于ICMP、TCP、HTTP等。同時LTM會記錄各個服務(wù)器的負載情況，對于外界進來的訪問流量，LTM會選擇內(nèi)部最優(yōu)的服務(wù)器提供服務(wù)，做到內(nèi)部服務(wù)器的負載均衡。當然，當內(nèi)部服務(wù)器發(fā)生故障時，LTM會將故障結(jié)果通告給本地的GTM。對于從服務(wù)器返回的流量，LTM可以根據(jù)出口鏈路的負載情況做鏈路分擔。

       步驟④由GTM來完成，主要針對數(shù)據(jù)中心內(nèi)服務(wù)器全部宕機的情況。當LTM檢測到管轄的服務(wù)器全部宕機，即本中心不能在對外提供服務(wù)時，會通告給GTM。這樣，GTM會將業(yè)務(wù)域名下對應(yīng)的該中心的IP地址置于非正常狀態(tài)。后續(xù)有訪問業(yè)務(wù)的DNS解析請求時，GTM不會再返回該中心的IP地址，所有解析都返回另一個數(shù)據(jù)中心的IP地址。這樣就完成了故障時自動智能的切換。

        以上為流量在故障發(fā)生后切換的機制。在實際生產(chǎn)環(huán)境中，本地DNS服務(wù)器通常有較長時間的緩存。當GTM收到LTM的業(yè)務(wù)故障通知，將DNS解析地址切換后，本地DNS緩存的地址或許還是之前使用的地址，那么該DNS服務(wù)器下的客戶端仍舊會訪問到業(yè)務(wù)故障的數(shù)據(jù)中心。在傳統(tǒng)模式下，用戶將無法獲得服務(wù)；在分布式雙活數(shù)據(jù)中心方案中，可以通過數(shù)據(jù)中心間大二層網(wǎng)絡(luò)，將進入到業(yè)務(wù)故障的數(shù)據(jù)中心的流量引導(dǎo)到業(yè)務(wù)正常的數(shù)據(jù)中心來保證業(yè)務(wù)的連續(xù)性。因此，從用戶角度來看，業(yè)務(wù)可以做到零中斷，無論業(yè)務(wù)訪問的是數(shù)據(jù)中心A還是B，或是從A到B的跨中心路徑，虛擬的大二層網(wǎng)絡(luò)為訪問流量提供了一個始終可用的服務(wù)站點。

2. 場景二：基于IP地址發(fā)布業(yè)務(wù)的雙活

        該場景主要是通過IP地址和IP路由實現(xiàn)對用戶流量的調(diào)度（如圖6所示）。 

圖6 基于IP地址發(fā)布業(yè)務(wù)的雙活數(shù)據(jù)中心模型
 

       正常情況下，數(shù)據(jù)中心A和B分別對外發(fā)布不同的IP地址和路由。此時，兩個IP地址均路由可達，都可以對外提供服務(wù)。（如圖7所示）LTM會實時監(jiān)測本設(shè)備管轄的服務(wù)器，當服務(wù)器故障、本中心不能對外提供服務(wù)時，LTM會通過RHI（Route Health Injection，健康路由注入）功能撤銷對外發(fā)布的路由，同時數(shù)據(jù)中心B的LTM會對外重新發(fā)布被數(shù)據(jù)中心A撤銷的路由，這樣，同一個IP地址的業(yè)務(wù)由數(shù)據(jù)中心B來提供。數(shù)據(jù)中心A和B的LTM之間需要通過二層互連網(wǎng)絡(luò)（EVI）保持聯(lián)動。同理，當數(shù)據(jù)中心A的LTM故障時，同樣的切換也會發(fā)生。

圖7 基于IP地址發(fā)布業(yè)務(wù)的故障切換
 

       由此不難看出，RHI是實現(xiàn)基于IP地址發(fā)布業(yè)務(wù)雙活的關(guān)鍵。該功能通常由SLB技術(shù)實現(xiàn)。SLB周期性的檢測服務(wù)器/虛擬機的存活狀態(tài)，當檢查結(jié)果正常時，SLB向骨干網(wǎng)中發(fā)布一條該主機地址的主機路由，用于用戶的正常訪問；當檢查結(jié)果異常時，撤銷該主機路由。LTM健康路由注入、撤銷過程實際上是LTM與網(wǎng)絡(luò)設(shè)備路由交互的過程。網(wǎng)絡(luò)設(shè)備必須能夠良好的與LTM進行路由的學(xué)習(xí)，同時可以將從LTM學(xué)習(xí)到的路由信息準確的發(fā)布到網(wǎng)絡(luò)系統(tǒng)中，從而準確的控制客戶端得到的路由信息。本方案中，通過數(shù)據(jù)中心A和B中兩臺LTM的配合實現(xiàn)用戶業(yè)務(wù)動態(tài)調(diào)整。

       如同場景一，當一個數(shù)據(jù)中心業(yè)務(wù)故障后到業(yè)務(wù)成功切換到另一個數(shù)據(jù)中心的中間過程中，可以通過數(shù)據(jù)中心間的虛擬大二層網(wǎng)絡(luò)保障故障切換過程中業(yè)務(wù)的連續(xù)性，以保證業(yè)務(wù)始終可用。

三、 結(jié)束語

        分布式雙活數(shù)據(jù)中心的建設(shè)是一個復(fù)雜的系統(tǒng)工程，它不僅僅要求網(wǎng)絡(luò)系統(tǒng)雙活，更是涉及到服務(wù)器系統(tǒng)、數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)，甚至和客戶的具體應(yīng)用也是息息相關(guān)。網(wǎng)絡(luò)系統(tǒng)是數(shù)據(jù)中心對外提供服務(wù)的通道，有了網(wǎng)絡(luò)的雙活，伴隨著數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)雙活技術(shù)的不斷成熟，相信分布式雙活數(shù)據(jù)中心方案可以為用戶提供更加完美的數(shù)據(jù)中心雙活體驗。