前不久，一則中行宕機(jī)的消息引起了網(wǎng)上IT人士的熱議。其中對(duì)于大型機(jī)或者RISC系統(tǒng)的穩(wěn)定性可靠性的質(zhì)疑更是熱議中的主流聲音，很多人拿現(xiàn)在互聯(lián)網(wǎng)系統(tǒng)做對(duì)比，認(rèn)為大型機(jī)所謂的幾個(gè)9都是吹出來(lái)的云云。在這里我想說(shuō)幾句公道話：首先，這次宕機(jī)到底是什么原因，什么形式的宕機(jī)我們都沒(méi)有很清楚的了解，在這種情況下就去評(píng)論大型機(jī)或者RISC系統(tǒng)的穩(wěn)定性或者可靠性其實(shí)都是不負(fù)責(zé)任，站不住腳的。但是，我覺(jué)得倒是可以基于這次的事件來(lái)稍微發(fā)散一下，說(shuō)一說(shuō)我對(duì)互聯(lián)網(wǎng)系統(tǒng)和傳統(tǒng)企業(yè)IT系統(tǒng)的一些看法和觀點(diǎn)。

現(xiàn)在被炒的很火熱的互聯(lián)網(wǎng)，云計(jì)算架構(gòu)，其相對(duì)于傳統(tǒng)的大型企業(yè)系統(tǒng)架構(gòu)，最大的區(qū)別就是以分布式的架構(gòu)去替代原先的集中式系統(tǒng)架構(gòu)。

打個(gè)比方，原先的大型企業(yè)系統(tǒng)架構(gòu)，就好像一架大型的民航客機(jī)。作為出行來(lái)講，飛機(jī)無(wú)疑是最舒適最快的交通工具，同時(shí)安全性也很好。但飛機(jī)卻也不是人人都能坐的。首先：做飛機(jī)要經(jīng)過(guò)換領(lǐng)登機(jī)牌，安檢等若干道手續(xù)，乘客必須提前一個(gè)多小時(shí)到機(jī)場(chǎng)辦理各種手續(xù)，而坐火車大巴則隨到隨買隨上車，方便的多；其次：坐飛機(jī)很多東西不能隨身攜帶甚至不能托運(yùn)，火車大巴則相對(duì)寬松;還有：機(jī)票很貴坐飛機(jī)花銷很大而且飛機(jī)運(yùn)載能力也不如火車。當(dāng)你有數(shù)萬(wàn)數(shù)千人要一次性到達(dá)某地時(shí)，一兩架飛機(jī)的運(yùn)載能力根本不夠，要調(diào)動(dòng)成批飛機(jī)的話整體成本又太高。最后：雖然飛機(jī)很少出事故，飛機(jī)一旦出現(xiàn)事故的話危險(xiǎn)級(jí)別往往都會(huì)很高。

但是，以前除了飛機(jī)之外，就只有火車，大巴這種交通方式選擇了。相比之下，這些方式雖然收費(fèi)低廉，乘車，攜帶物品都比較方便，但是速度實(shí)在太慢而且受外界因素諸如雨雪等等的影響太大，乘坐也不是很舒適。只能滿足那些相對(duì)時(shí)間寬裕，或者囊中羞澀人群的出行需求。

于是，為了滿足更多人，更便利更高速的交通運(yùn)輸需求，新的交通運(yùn)輸模式—動(dòng)車/高鐵就出現(xiàn)了。它和火車最大的區(qū)別是：火車只有一節(jié)車頭有動(dòng)力，后面能拖幾節(jié)車廂跑多快基本就是看一個(gè)車頭有多強(qiáng)勁。但個(gè)體的力量終究有限，一個(gè)車頭再?gòu)?qiáng)勁也有個(gè)極限，發(fā)展空間也就那點(diǎn)了，實(shí)在難以有太大作為。動(dòng)車則不同，它每節(jié)列車都獨(dú)立有自己的動(dòng)力系統(tǒng)，連在一起各節(jié)車廂動(dòng)力系統(tǒng)就是一個(gè)疊加遞增的關(guān)系。所以理論上越多節(jié)車廂接在一起就可以拉更多人跑的更快，是一個(gè)無(wú)限擴(kuò)展的系統(tǒng)!而且因?yàn)閯?dòng)車可以搭載的乘客很多，所以均攤到每個(gè)乘客頭上，坐動(dòng)車的速度可以某種程度上接近坐飛機(jī)，但成本要低很多。

現(xiàn)在互聯(lián)網(wǎng)，云計(jì)算的系統(tǒng)架構(gòu)其實(shí)和動(dòng)車的理念相類似，就是分布式系統(tǒng)的架構(gòu) – 將任務(wù)分解交由每個(gè)小計(jì)算單元進(jìn)行分布式的并行處理，充分利用每個(gè)單元的計(jì)算和存儲(chǔ)能力，理論上性能可以無(wú)限線性擴(kuò)展，任何一個(gè)節(jié)點(diǎn)的故障不影響整個(gè)系統(tǒng)的運(yùn)行，整個(gè)系統(tǒng)沒(méi)有單點(diǎn)故障。

也就是說(shuō)：我們可以簡(jiǎn)單把大型企業(yè)核心架構(gòu)，或者說(shuō)就是大型機(jī)，RISC系統(tǒng)比作飛機(jī);而把互聯(lián)網(wǎng)，云計(jì)算的系統(tǒng)架構(gòu)比作動(dòng)車。現(xiàn)在，就可以做些很有意思的討論了。

還是來(lái)說(shuō)說(shuō)穩(wěn)定性和可靠性：就說(shuō)2012年吧，飛機(jī)也好，動(dòng)車也好，新聞里面都有報(bào)道過(guò)出現(xiàn)嚴(yán)重事故，可見(jiàn)沒(méi)有一種系統(tǒng)是完全穩(wěn)定可靠不會(huì)出現(xiàn)任何宕機(jī)風(fēng)險(xiǎn)的，但是其概率都是非常非常小的。從整體來(lái)講，都是很穩(wěn)定很可靠很安全的選擇。只不過(guò)各自對(duì)于如何防災(zāi)冗余的策略還是有些不一樣。先說(shuō)飛機(jī)，因?yàn)轱w在空中，萬(wàn)一出了事情沒(méi)有后備可用，所以能采取的方式只有想盡一切辦法提高飛機(jī)自身個(gè)部件的冗余度，設(shè)計(jì)時(shí)盡可能多的考慮各種小概率事件。哪怕發(fā)生某故障的概率只有千萬(wàn)分之一甚至億萬(wàn)分之一，只要有可能，也要把應(yīng)對(duì)措施設(shè)計(jì)進(jìn)去。這也是飛機(jī)造價(jià)為什么會(huì)那么高，對(duì)攜帶物的要求會(huì)那么多的原因。而動(dòng)車則相對(duì)簡(jiǎn)單：反正多拖幾節(jié)車廂又不影響我速度，那我就盡量多拖些備用車廂跑著唄。萬(wàn)一某節(jié)車廂出事了，就把里面乘客挪到備用車廂里，車照樣跑得歡。然后等到了站再去更換檢查有問(wèn)題車廂也不遲。

回到IT世界也是一樣。分布式系統(tǒng)基本都是基于x86的PC服務(wù)器。單就一臺(tái)服務(wù)器而言，雖然性能可靠性在不斷加強(qiáng)，但肯定還是不如RISC系統(tǒng)的。但是沒(méi)關(guān)系，咱可以用數(shù)量來(lái)彌補(bǔ)單機(jī)冗余度的不足啊。設(shè)計(jì)沒(méi)你好冗余度沒(méi)你考慮的多我就多拉幾臺(tái)唄。壞了幾臺(tái)沒(méi)事，應(yīng)用任務(wù)再分配到別的空閑機(jī)器上就好了。壞了的機(jī)器也不用馬上修，反正沒(méi)壞的機(jī)器加起來(lái)也夠用。等到故障機(jī)器到了一定數(shù)量我再一次性批量檢修更換部件效率更高。對(duì)于用戶來(lái)講，即使我壞了100來(lái)臺(tái)服務(wù)器只要剩下的服務(wù)器還能正常工作，應(yīng)用就不會(huì)受任何影響。谷歌，F(xiàn)acebook那些超大型數(shù)據(jù)中心現(xiàn)在的工作思路大致如此。這么做看起來(lái)是個(gè)很簡(jiǎn)單有效，很聰明的方法，但其實(shí)也有不少問(wèn)題存在。

首先我覺(jué)得這個(gè)架構(gòu)好處是實(shí)現(xiàn)原理簡(jiǎn)單，而且擴(kuò)展性彈性比起RISC架構(gòu)來(lái)好處不言而喻。但其實(shí)這個(gè)架構(gòu)里面也存在著無(wú)謂的資源浪費(fèi)可能性。例如拿存儲(chǔ)而言，目前Hadoop類的多副本分布式存儲(chǔ)很火。一份數(shù)據(jù)存三份，發(fā)現(xiàn)有數(shù)據(jù)損壞立即找空閑空間恢復(fù)。聽(tīng)上去很簡(jiǎn)單很容易實(shí)現(xiàn)很高效，但如果你真的坐下來(lái)仔細(xì)算算賬，你就會(huì)發(fā)現(xiàn)：

1. 當(dāng)你數(shù)據(jù)量不大(小于PB)的情況下這種一份數(shù)據(jù)存三份方式的成本其實(shí)比現(xiàn)有任何商業(yè)存儲(chǔ)方案的成本都要高。

2. 這種方式下每臺(tái)服務(wù)器的CPU利用率都很低，而現(xiàn)在市面上的大存儲(chǔ)容量服務(wù)器，CPU配置都很高。所以這種方式，基本上是對(duì)于CPU資源的一種浪費(fèi)。所以，或許對(duì)于數(shù)據(jù)量適中的企業(yè)來(lái)說(shuō)，用EC CODE這種以計(jì)算能力換存儲(chǔ)的分布式存儲(chǔ)解決方案會(huì)比多副本方案更經(jīng)濟(jì)實(shí)惠。

3. 這種方式很容易讓IT運(yùn)維人員產(chǎn)生一種習(xí)慣性思維 – 即要提高系統(tǒng)在線時(shí)間就多買些服務(wù)器就好了。因?yàn)榉?wù)器多了分布性好了自然冗余度就高了。于是不必要的服務(wù)器采購(gòu)就這么產(chǎn)生了，每個(gè)數(shù)據(jù)中心也就又多了很大一筆不是很必要的電費(fèi)開(kāi)銷。

其次，我覺(jué)得分布式架構(gòu)的某些故障很可能會(huì)產(chǎn)生連鎖效應(yīng)，導(dǎo)致更嚴(yán)重全局癱瘓。打個(gè)比方，大家都知道赤壁之戰(zhàn)的故事。里面有個(gè)很著名的橋段就是龐統(tǒng)獻(xiàn)連環(huán)計(jì)，鐵鎖連舟。起始時(shí)使曹操萬(wàn)余戰(zhàn)船連成一體穩(wěn)如平地進(jìn)可攻退可守前后都可照應(yīng)看似完美，但唯有一個(gè)命門就是怕火攻。而諸葛亮周瑜正是利用這個(gè)命門，解東風(fēng)火燒赤壁把曹操百萬(wàn)大軍殺的丟盔卸甲。互聯(lián)網(wǎng)的分布式架構(gòu)其實(shí)我覺(jué)得也有類似“命門”。大型機(jī)或者RISC系統(tǒng)之所以那么貴，其實(shí)很多時(shí)候用戶在為千萬(wàn)分之一甚至億萬(wàn)分之一的“萬(wàn)一”買單。而互聯(lián)網(wǎng)，現(xiàn)在的公有云架構(gòu)，在設(shè)計(jì)之初，基本的考慮思路是大用戶，大并發(fā)，然后盡量減少TCO。所以很多時(shí)候，設(shè)計(jì)架構(gòu)時(shí)會(huì)先把那些“千萬(wàn)分之一”排除在外，暫時(shí)不予考慮。而系統(tǒng)上線之后，穩(wěn)定運(yùn)行一段時(shí)間用戶量暴漲，精力往往又會(huì)去專注擴(kuò)容方面了。搞不好就會(huì)把一些“命門”漏掉，于是乎萬(wàn)一正好遇上“東風(fēng)”吹到了命門上，后果估計(jì)會(huì)比曹阿瞞更慘。因?yàn)镮T世界里還沒(méi)有那么仁義的關(guān)云長(zhǎng)會(huì)在華容道上放曹操一馬。

其實(shí)從最近Facebook，Amazon、谷歌的幾次宕機(jī)事件來(lái)看，已經(jīng)有些那個(gè)苗頭了。好在那些互聯(lián)網(wǎng)領(lǐng)頭羊們應(yīng)該是已經(jīng)意識(shí)到這些問(wèn)題，已經(jīng)在積極修補(bǔ)“命門”了。

最后，我想說(shuō)互聯(lián)網(wǎng)，云計(jì)算的業(yè)務(wù)類型其實(shí)和傳統(tǒng)企業(yè)的業(yè)務(wù)類型不一樣，所以大型機(jī)，RISC系統(tǒng)處理的任務(wù)，運(yùn)行的計(jì)算并不一定都適合移植到分布式系統(tǒng)架構(gòu)上來(lái)。還是以交通運(yùn)輸舉例：我要去美國(guó)，目前還是只有飛機(jī)可以滿足我的需求。當(dāng)然你可以說(shuō)我坐動(dòng)車也可以，無(wú)非是多轉(zhuǎn)幾趟跨國(guó)列車。但那畢竟很勉強(qiáng)，速度不快，費(fèi)時(shí)費(fèi)力還不省錢，毫無(wú)意義。人家直接飛過(guò)去就行了，你卻要繞著太平洋海岸線跑一個(gè)大圈來(lái)兜，何必呢?

那么以上這些問(wèn)題有沒(méi)有辦法解決呢?其實(shí)我覺(jué)得解決以上問(wèn)題的關(guān)鍵就是兩個(gè)字：運(yùn)維。分布式系統(tǒng)，要保障其安全可靠的運(yùn)行，合理有效的擴(kuò)容，關(guān)鍵不在系統(tǒng)的軟硬件，而是在系統(tǒng)搭建之后的運(yùn)維和持續(xù)的對(duì)系統(tǒng)的改進(jìn)修正!現(xiàn)在網(wǎng)絡(luò)上很多人都在熱衷于各種開(kāi)源架構(gòu)如openstack，Hadoop的開(kāi)發(fā)，應(yīng)用場(chǎng)景探討。但個(gè)人以為這些開(kāi)源系統(tǒng)的特點(diǎn)是搭建簡(jiǎn)單，維護(hù)艱難!要想把這些架構(gòu)和技術(shù)真正投入企業(yè)成熟應(yīng)用，在運(yùn)維管理上投入的成本可能要比RISC大得多。因?yàn)檫@些系統(tǒng)架構(gòu)更分散，出現(xiàn)的不可預(yù)估性更多，同時(shí)也更需要有人來(lái)理清何時(shí)用分布式架構(gòu)，何種場(chǎng)景還是需要傳統(tǒng)架構(gòu)。那么可能有人要問(wèn)，既然如此，我們還有必要走分布式系統(tǒng)這條路嗎?當(dāng)然有!原因也很簡(jiǎn)單：分布式架構(gòu)給了我們處理海量請(qǐng)求的能力和應(yīng)對(duì)突發(fā)事件的彈性;同時(shí)分布式架構(gòu)也使系統(tǒng)具備了更好的擴(kuò)展能力和更多業(yè)務(wù)創(chuàng)新的可能性。

說(shuō)了這么多，基本要講的也就講得差不多了。怕前面說(shuō)的有些散稍微總結(jié)下我想說(shuō)的觀點(diǎn)：無(wú)論傳統(tǒng)RISC架構(gòu)還是現(xiàn)在流行的分布式架構(gòu)，雖然實(shí)現(xiàn)方式各有不同，但都是具有很高的穩(wěn)定性可靠性的系統(tǒng)。但沒(méi)有一個(gè)系統(tǒng)是絕對(duì)穩(wěn)定不會(huì)宕機(jī)的，要保障系統(tǒng)穩(wěn)定可靠運(yùn)行，運(yùn)維管理很重要。分布式系統(tǒng)相比傳統(tǒng)RISC架構(gòu)有擴(kuò)展性和靈活性方面的巨大優(yōu)勢(shì)，但也存在資源浪費(fèi)和故障隱患危險(xiǎn)。在這一方面，分布式系統(tǒng)架構(gòu)還需要多向傳統(tǒng)架構(gòu)的運(yùn)維管理學(xué)習(xí)借鑒，提升自身的憂患意識(shí)和故障預(yù)警處理能力。