在過(guò)去一年中，F(xiàn)acebook給傳統(tǒng)網(wǎng)絡(luò)行業(yè)帶來(lái)了有趣的創(chuàng)新。雖然大部分企業(yè)會(huì)對(duì)其網(wǎng)絡(luò)操作詳情保密，而Facebook則與大家分享了其創(chuàng)新。筆者認(rèn)為，對(duì)于這個(gè)業(yè)務(wù)模式構(gòu)建在人們共享的個(gè)人信息之上的企業(yè)而言，這非常合情合理。

并且，F(xiàn)acebook的開(kāi)放性也給他們帶來(lái)回報(bào)。基礎(chǔ)設(shè)施副總裁Jason Taylor估計(jì)，在過(guò)去三年中，通過(guò)向開(kāi)放計(jì)算項(xiàng)目(OCP)成員共享其設(shè)計(jì)規(guī)格，F(xiàn)acebook節(jié)省了大約20億美元。

但真正引人注目的是去年Facebook推出的Wedge，這是與OCP社區(qū)合作開(kāi)發(fā)的開(kāi)放架頂式交換機(jī)。在8個(gè)月后，F(xiàn)acebook推出了6-Pack模塊化版本的Wedge，用于網(wǎng)絡(luò)核心。除這些裸機(jī)交換機(jī)外，該公司還推出了FBOSS(基于Linux的開(kāi)發(fā)網(wǎng)絡(luò)操作系統(tǒng))和OpenBNC(系統(tǒng)管理)。

這種開(kāi)放性對(duì)于其他企業(yè)的意義在于，所有這一切并不只是Facebook的瘋狂科學(xué)項(xiàng)目。你很快可以通過(guò)臺(tái)灣交換機(jī)制造商Accton購(gòu)買Wedge，只需要花費(fèi)專有交換機(jī)成本的小部分就可以將這些交換機(jī)引入到你的數(shù)據(jù)中心。并且，你不會(huì)被鎖定為要在該交換機(jī)運(yùn)行FBOSS。你可以貨比三家，選擇你最喜歡的網(wǎng)絡(luò)操作系統(tǒng)，例如Open Network Linux、Cumulus Linux、Big Switch Switch Light、Pica8的PicOS或甚至瞻博網(wǎng)絡(luò)的JUNOS。如果你有自己的開(kāi)發(fā)團(tuán)隊(duì)，你也可以自己開(kāi)發(fā)操作系統(tǒng)。

本文中我們將討論Facebook分享的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)創(chuàng)新以及這對(duì)其他企業(yè)的價(jià)值。去年11月，在Wedge和6-Pack發(fā)布時(shí)間之間，F(xiàn)acebook啟動(dòng)了其最新的Altoona數(shù)據(jù)中心。對(duì)此，F(xiàn)acebook同樣公開(kāi)分享了其新設(shè)計(jì)。

事實(shí)證明，Altoona設(shè)計(jì)中有一些有價(jià)值的創(chuàng)新，可以借鑒到其他任何規(guī)模的數(shù)據(jù)中心。

對(duì)超大規(guī)模的誤解

當(dāng)提到“超大規(guī)模數(shù)據(jù)中心”時(shí)，很多人都會(huì)本能地想到Facebook、谷歌和Amazon。而由于這種關(guān)聯(lián)，讓人覺(jué)得只有大型供應(yīng)商才能實(shí)現(xiàn)超大規(guī)模數(shù)據(jù)中心。

事實(shí)是，超大規(guī)模只是意味著進(jìn)行非常快速擴(kuò)展的能力。超大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)可能很小，但它可以迅速成倍擴(kuò)展，而不需要改變網(wǎng)絡(luò)的基本組件和結(jié)構(gòu)。在這個(gè)擴(kuò)展中，你可以使用相同的交換機(jī)和相同的互連模式，而不需要替換交換機(jī)來(lái)適應(yīng)增長(zhǎng)。

你的數(shù)據(jù)中心可以只有少量機(jī)架，如果網(wǎng)絡(luò)設(shè)計(jì)正確的話，它就可以是超大規(guī)模數(shù)據(jù)中心。超大規(guī)模是一種能力，而不是規(guī)模。

對(duì)于超大規(guī)模數(shù)據(jù)中心的另一個(gè)誤解是，它們是用于相對(duì)較少的大規(guī)模應(yīng)用程序。這也是源自Facebook和谷歌的關(guān)聯(lián)。超大規(guī)模設(shè)計(jì)其實(shí)非常適合重型東西工作負(fù)載，但超大規(guī)模設(shè)計(jì)原則也可以應(yīng)用到一般企業(yè)數(shù)據(jù)中心，支持?jǐn)?shù)百個(gè)業(yè)務(wù)應(yīng)用程序，正如它可以支持單個(gè)社交媒體、大數(shù)據(jù)或搜索應(yīng)用程序。

超大規(guī)模也讓人想起由才華橫溢的年輕設(shè)計(jì)師從芯片開(kāi)始構(gòu)建的DIY網(wǎng)絡(luò)，這些設(shè)計(jì)師的薪水遠(yuǎn)遠(yuǎn)超過(guò)一般網(wǎng)絡(luò)運(yùn)營(yíng)商的水平。對(duì)于創(chuàng)新者來(lái)說(shuō)，這可能是真的，但由于Facebook已經(jīng)奠定了基礎(chǔ)，現(xiàn)在一般人也可以將其設(shè)計(jì)原則應(yīng)用到自己的數(shù)據(jù)中心。

為了了解Altoona網(wǎng)絡(luò)的價(jià)值，讓我們先來(lái)看看Facebook在其早期數(shù)據(jù)中心使用的網(wǎng)絡(luò)架構(gòu)。

好是不夠的：Facebook的集群設(shè)計(jì)

圖1展示了Facebook在Altoona之前的聚合集群設(shè)計(jì)，他們稱之為“4-post”架構(gòu)。多達(dá)255臺(tái)服務(wù)器機(jī)柜通過(guò)ToR交換機(jī)(RSW)連接到高密度集群交換機(jī)(CSW)。RSW有多達(dá)44個(gè)10G下行鏈路和4或8個(gè)上行鏈路。4個(gè)CSW及其連接的RSW組成一個(gè)集群。

4個(gè)“FatCat(FC)”聚合交換機(jī)互聯(lián)集群。每個(gè)CSW有一個(gè)40G連接到每個(gè)FC。一個(gè)80G保護(hù)環(huán)連接每個(gè)集群內(nèi)的CSW，而FC連接到160G保護(hù)環(huán)。

這是一個(gè)很好的設(shè)計(jì)，包括幾個(gè)方面：冗余性很好;超額配置很好(RSW和CSW之間通常為10:1，CSW和FC之間為4:1);這個(gè)拓?fù)浣Y(jié)構(gòu)相當(dāng)平，沒(méi)有路由器互聯(lián)集群;并且增長(zhǎng)的管理簡(jiǎn)單，通過(guò)添加新集群，至少可達(dá)到40G端口容量。

但Facebook發(fā)現(xiàn)這還不夠好。

這種架構(gòu)的主要問(wèn)題在于CSW和FC需要非常大的交換機(jī)：

· 只有4個(gè)交換機(jī)處理所有集群內(nèi)流量，4個(gè)交換機(jī)處理所有集群間流量，交換機(jī)故障會(huì)帶來(lái)嚴(yán)重影響。一個(gè)CSW故障會(huì)減少25%的集群內(nèi)容量，而一個(gè)FC故障會(huì)減少25%集群間容量。

· 非常大的交換機(jī)限制了供應(yīng)商選擇—只有少數(shù)“大腕級(jí)”制造商。由于這些供應(yīng)商只出售相對(duì)較少的大型交換機(jī)，與大量供應(yīng)商提供的較小型交換機(jī)相比，每端口CapEX和OpEx非常高。

· 這些大型交換機(jī)的專有內(nèi)部屬性不允許定制化、管理復(fù)雜，并且修復(fù)漏洞需要等待數(shù)月甚至數(shù)年。

· 大型交換機(jī)往往有超額交換結(jié)構(gòu)，因此不能同時(shí)使用所有端口。

· 這種集群交換機(jī)的端口密度限制了這些拓?fù)浣Y(jié)構(gòu)的規(guī)模和貸款，讓過(guò)渡到下一代端口的速度很慢。

· Facebook的分布式應(yīng)用程序創(chuàng)造了機(jī)器到機(jī)器流量，這難以在聚合網(wǎng)絡(luò)設(shè)計(jì)內(nèi)管理。

Altoona：超大規(guī)模數(shù)據(jù)中心

Altoona的下一代架構(gòu)必須從根本上解決集群架構(gòu)的問(wèn)題，同時(shí)保持其最佳功能。具體做法是：

· 使用大量小型交換機(jī)，而不是少數(shù)大型交換機(jī)。這樣的話，每個(gè)交換機(jī)僅負(fù)責(zé)較小比率的負(fù)載，交換機(jī)故障只會(huì)對(duì)整體容量帶來(lái)較小的影響。

· 端口密度分布在多臺(tái)交換機(jī)，而不是在一臺(tái)交換機(jī)，讓過(guò)渡到更高密度端口和減少內(nèi)部超額配置變得更簡(jiǎn)單。

· 內(nèi)部交換機(jī)架構(gòu)應(yīng)該是開(kāi)放、無(wú)阻塞的，并建有商用芯片，鼓勵(lì)定制化、簡(jiǎn)化管理和故障排除，并縮短漏洞修復(fù)等待時(shí)間。

· 尋找比集群更小的模塊化單元，可以復(fù)制用于廣泛的用途，并可經(jīng)濟(jì)地部署到各種規(guī)模的數(shù)據(jù)中心。

· 降低資本和運(yùn)營(yíng)支出。

· 快速、簡(jiǎn)單和便宜地適應(yīng)任何速度的增長(zhǎng)

對(duì)此，F(xiàn)acebook提出的是分層核心和pod設(shè)計(jì)，他們創(chuàng)建了跨越整個(gè)數(shù)據(jù)中心的單個(gè)高性能架構(gòu)。基本構(gòu)建塊(或者說(shuō)標(biāo)準(zhǔn)“網(wǎng)絡(luò)單元”)pod包含48個(gè)ToR交換機(jī)，通過(guò)40G上線鏈路連接到4個(gè)光纖交換機(jī)。請(qǐng)看圖2中這個(gè)拓?fù)浣Y(jié)構(gòu)，你可以發(fā)現(xiàn)折疊的3級(jí)Clos結(jié)構(gòu)，或者說(shuō)分支和主干拓?fù)浣Y(jié)構(gòu)。這些pod每個(gè)只包含48個(gè)服務(wù)器機(jī)架，而不是集群設(shè)計(jì)中數(shù)百臺(tái)服務(wù)器機(jī)架。因此，在端口密度方面，ToR和光纖交換機(jī)可以保持相對(duì)較小。假設(shè)每個(gè)ToR交換機(jī)有48個(gè)10G下行鏈路，pod有3:1的超額配置—這是對(duì)10：1集群超額配置的顯著改進(jìn)。

每個(gè)pod通過(guò)40G上行鏈路連接到4個(gè)主干平面，正如圖3所示。每個(gè)主干平面可以有多達(dá)48個(gè)交換機(jī)。這種拓?fù)浣Y(jié)構(gòu)的關(guān)鍵是，每個(gè)光纖交換機(jī)有相同數(shù)量的40G下行鏈路和上行鏈路，這樣該結(jié)構(gòu)就無(wú)阻塞，在pod之間沒(méi)有超額配置。在整個(gè)數(shù)據(jù)中心，二等分帶寬(運(yùn)行多PB)是一致的。

圖3顯示的是光纖架構(gòu)及其對(duì)應(yīng)的主干平面之間的彩色連接。真正讓你震驚的應(yīng)該是，光纖交換機(jī)和主干交換機(jī)之間有大量鏈接。光纖和電纜很昂貴，所以管理pod和主干平面之間的距離很重要。

如果你旋轉(zhuǎn)pod并進(jìn)行排列，每個(gè)pod的48個(gè)機(jī)架將排列在數(shù)據(jù)中心，然而對(duì)主干平面進(jìn)行同樣的排列，你會(huì)得到圖4中的立體圖，光纖交換機(jī)成為主干平面的一部分。光纖交換機(jī)和主干平面之間的距離被縮短。請(qǐng)注意，還有邊緣pod，這提供到架構(gòu)的外部連接。

Facebook網(wǎng)絡(luò)工程師Alexey Andreyev這樣描述這個(gè)結(jié)構(gòu)：“這種高度模塊化設(shè)計(jì)使我們可以在任何層面快速擴(kuò)展容量，在簡(jiǎn)單而統(tǒng)一的框架內(nèi)。當(dāng)我們需要更多計(jì)算容量時(shí)，我們添加服務(wù)器pod。當(dāng)我們需要更多架構(gòu)內(nèi)網(wǎng)絡(luò)容量時(shí)，我們?cè)谒衅矫嫣砑又鞲山粨Q機(jī)。當(dāng)我們需要更多架構(gòu)外連接時(shí)，我們?cè)黾舆吘塸od或擴(kuò)展現(xiàn)有邊緣交換機(jī)的上行鏈路。”

Altoona數(shù)據(jù)中心經(jīng)驗(yàn)

你現(xiàn)在可能想知道這與你和你的數(shù)據(jù)中心有什么關(guān)系。畢竟，F(xiàn)acebook正在支持著一個(gè)龐大的分布式應(yīng)用程序，產(chǎn)生的機(jī)器到機(jī)器流量跨越其整個(gè)數(shù)據(jù)中心，而你可能沒(méi)有這種需求。并且，雖然48機(jī)架pod比其早期集群更小，但大多數(shù)企業(yè)數(shù)據(jù)中心都少于48服務(wù)器機(jī)架。

那與你有什么關(guān)系呢?因?yàn)檫@不是關(guān)于規(guī)模，而是可擴(kuò)展性。

Altoona設(shè)計(jì)可借鑒之處在于，你可以使用小型開(kāi)放交換機(jī)構(gòu)建你的數(shù)據(jù)中心，這個(gè)架構(gòu)可以讓你擴(kuò)展到任何規(guī)模，而不需要改變基本構(gòu)建塊。首先看看交換機(jī)：你不需要等到Wedge或6-Pack上市(Accton很快將銷售Wedge)，你可以選擇來(lái)自Accton、Quanta、Celestica、戴爾等供應(yīng)商的裸機(jī)交換機(jī)。例如，具有32個(gè)40G端口的Quanta交換機(jī)售價(jià)為7495美元。24個(gè)40G端口的瞻博網(wǎng)絡(luò)QFX5100售價(jià)不到3萬(wàn)美元。這個(gè)價(jià)格相差很大，JUNOS可以為你提供相當(dāng)好的操作系統(tǒng)，而裸機(jī)交換機(jī)讓你可以加載你選擇的操作系統(tǒng)。

對(duì)于pod和核心設(shè)計(jì)，這可以根據(jù)你自己的需要來(lái)進(jìn)行調(diào)整。Pod可以是你想要的任何規(guī)模;而“網(wǎng)絡(luò)單元”是很好的概念，而不是規(guī)則。你可以創(chuàng)建一些pod設(shè)計(jì)來(lái)滿足特定的工作流程需要，或者只是開(kāi)始從較舊的架構(gòu)遷移。Pod還可以針對(duì)應(yīng)用程序。隨著你的數(shù)據(jù)中心網(wǎng)絡(luò)的增長(zhǎng)，或者你采用更新的技術(shù)，你可以無(wú)中斷地插入新的pod。

這同樣適用于核心部分。你可以在2層網(wǎng)絡(luò)或3層網(wǎng)絡(luò)構(gòu)建核心，這完全取決于你支持的工作流程。這種簡(jiǎn)單的pod和核心設(shè)計(jì)，讓你可以以任何速度來(lái)擴(kuò)展你的數(shù)據(jù)中心網(wǎng)絡(luò)。