最近，我在思考過去、現(xiàn)在和未來的存儲平臺設(shè)計。我很清楚地看到我們行業(yè)的許多人快速地從SAN(存儲局域網(wǎng))存儲和本地文件系統(tǒng)遷移到基于存儲的設(shè)備。
在思考這個現(xiàn)象的時候，我詢問了我的一些朋友。“我們需要簡化存儲架構(gòu)是因為我們沒有足夠的存儲人才來管理存儲的復(fù)雜性嗎?或者說我們遷移到設(shè)備模式是因為這是自然的進(jìn)步?”
在我看來，這是典型的“先有雞還是先有蛋”的問題。
SAN過去的統(tǒng)治
七年前，SAN還統(tǒng)治著存儲環(huán)境。現(xiàn)在一切都變了。
SAN革命開始于1997年光纖通道的引入。2007年以前光纖通道還沒有多少競爭，直到10Gb/秒以太網(wǎng)進(jìn)入市場，將SAN的市場挖走一大塊。
在這段時間，市場格局發(fā)生了很大變化。Linux在許多領(lǐng)域成為主導(dǎo)，文件系統(tǒng)的發(fā)展則進(jìn)展較小。為什么進(jìn)步這么有限呢?是否因為Linux是免費(fèi)的，而文件系統(tǒng)則很難開發(fā)而沒有人愿意為文件系統(tǒng)買單?
NAS(網(wǎng)絡(luò)附加存儲)和其他存儲設(shè)備對大型存儲環(huán)境的管理很簡單。文件系統(tǒng)和管理都被整合到一個框架中。
在一些大型組織中，SAN管理和文件系統(tǒng)管理是由不同的小組來管理的。我經(jīng)常看到兩個小組之間的沖突，不過一個大問題就是整合。SAN管理小組的人經(jīng)常不告訴文件系統(tǒng)小組的人底層存儲架構(gòu)。因此文件系統(tǒng)小組的人經(jīng)常創(chuàng)建一個沒有針對這個存儲優(yōu)化的文件系統(tǒng)。
他們是正在使用LUN(邏輯單元號)7+1 RAID(獨(dú)立磁盤冗余陣列)-5(經(jīng)常被用于一些企業(yè)RAID)嗎?這種系統(tǒng)可能不符合應(yīng)用程序分配。或者說他們是正在使用4+1 RAID-5?條帶的大小應(yīng)該設(shè)成多少?文件系統(tǒng)分配應(yīng)該如何匹配條帶大小和底層存儲架構(gòu)?對大部分站點(diǎn)來說，所有這些問題都是非常令人困惑的問題，同時很影響性能。
即使這些小組都同心協(xié)力或每個人都在同一個小組內(nèi)工作，要學(xué)會調(diào)整每個RAID設(shè)備、文件系統(tǒng)、網(wǎng)絡(luò)和架構(gòu)還是需要很長的時間。由于不同的廠商經(jīng)常有不同的組件，員工們有許多不同的培訓(xùn)課程要去上。當(dāng)然，這要花費(fèi)時間和金錢。
此外，許多用戶只有有限的性能工具來告訴他們問題在哪里以及他們犯了哪些錯誤。要想讓每個東西都得到最佳設(shè)置，我們很難不花很多錢。
那些利潤率比較高的SAN廠商們可能會安排人手在現(xiàn)場，或者用戶支付咨詢費(fèi)來讓人解決性能問題(我知道，因為我們進(jìn)行了很多這樣的工作)。最后，SAN的成本遠(yuǎn)遠(yuǎn)高于當(dāng)初的硬件成本。
同時，NAS設(shè)備速度變得越來越快，同時也更便于設(shè)置和使用。許多研究都聲稱它們有更低的總擁有成本。
在10Gb/秒以太網(wǎng)之前，市場上只有1Gb/秒以太網(wǎng)。與SAN通道相比，這種以太網(wǎng)的速度相當(dāng)慢。然后10Gb/秒以太網(wǎng)來了，它比最快的SAN通道8Gb/秒光纖通道還要快。8Gb/秒光纖通道一直是最快的SAN通道，直到2012年年中16Gb/秒光纖通道和PCIe 3.0服務(wù)器計入市場。當(dāng)然，10Gb/秒以太網(wǎng)和NAS協(xié)議開銷比SAN(SCSI)大，但是它足夠快，而且可以擴(kuò)展到相當(dāng)于SAN。
2012年：改變的一年
回顧2012年，我看到存儲的許多事情開始發(fā)生改變。存儲行業(yè)的格局是向應(yīng)用程序?qū)Ｓ行栽O(shè)備傾斜。Hadoop設(shè)備，關(guān)聯(lián)設(shè)備、其他大數(shù)據(jù)分析和大型并行文件系統(tǒng)設(shè)備——所有這些類型的設(shè)備都顯示出了強(qiáng)勁的市場增長，并且有許多新廠商正在進(jìn)入這個市場。
大部分內(nèi)置應(yīng)用程序的這些設(shè)備有有限的調(diào)整參數(shù)，因為它們已經(jīng)針對底層存儲基礎(chǔ)設(shè)施和應(yīng)用程序設(shè)計進(jìn)行過優(yōu)化。這并不是說用戶不需要一些東西來改進(jìn) 性能，只不過說這個需要調(diào)整的東西是有限的。這些設(shè)備馬上就能帶來良好的性能，而且已經(jīng)為你做好了整合。者意味著用戶不需要很多的存儲知識來操作這些新的 存儲設(shè)備。
存儲設(shè)備的興起是好是壞?
我認(rèn)為導(dǎo)致傳統(tǒng)基于SAN存儲環(huán)境沒落的原因是多方面的。
首先，缺乏能夠游刃有余地安裝管理大型復(fù)雜系統(tǒng)的專業(yè)人員，這是一個非常重要的原因。
第二，復(fù)雜的系統(tǒng)如何進(jìn)行整合堆疊?一個文件系統(tǒng)如何理解基本的拓?fù)浣Y(jié)構(gòu)，如何自動配置?這些都難以實現(xiàn)。另外，各層次之間缺乏交流，接口的低傳輸率也使得問題雪上加霜。
第三，各大廠商沒有發(fā)現(xiàn)大勢已去，它們自認(rèn)為掌握了多種有利因素。為什么到現(xiàn)在都沒有端到端文件系統(tǒng)廠商的整合使工作更加簡單?缺乏刺激其它技術(shù)發(fā)展的合作。
第四(或許還有其它原因我沒有考慮到)，人人都想要免費(fèi)的東西，因此在高速文件系統(tǒng)領(lǐng)域，Linux獲得快速發(fā)展。但是，各位要注意，Linux沒有可擴(kuò)展的文件系統(tǒng)，不能進(jìn)行好的文件系統(tǒng)SAN管理。正如俗話說的，天下沒有免費(fèi)的午餐。
那存儲分析師和存儲管理員們要怎么辦?
假如我所說的是正確的，存儲世界正在快速改變，我們的設(shè)備會需要越來越少的管理，監(jiān)控，與硬件的交互也會越來越少。那存儲分析師和存儲管理員們要干什么?
我在這個市場上混了快32年了，了解到一件事情，就是每個新奇的工具都需要人來操作它。設(shè)備和人力的預(yù)算基本上是平衡的，如果設(shè)備需要更少的人來管理，那你不久就會發(fā)現(xiàn)需要購買更多的設(shè)備。短期來看，人力的投入可能會有所下降，但是從長遠(yuǎn)來看，事情并沒有發(fā)生本質(zhì)的變化。就像虛擬化，據(jù)我所知人員的減少不會持續(xù)很長時間。
這意味著像我這樣置身存儲行業(yè)中的人需要隨著時間做出改變，要不就變成恐龍了。現(xiàn)在，這已經(jīng)適用于我們所有人。我們需要從原來了解的SAN和RAID配置管理方式中解放出來，去更好地理解設(shè)備，了解設(shè)備如何與硬件相輔相成。就我而言，所有的設(shè)備都有可調(diào)的參數(shù)。你需要理解這種參數(shù)，理解如何把數(shù)據(jù)存儲到系統(tǒng)中，如何更好地運(yùn)行系統(tǒng)。這對于我們大家來說都是需要學(xué)習(xí)的地方。
最后的思考
每個人都在討論大數(shù)據(jù)，討論大數(shù)據(jù)如何改變我們的世界。在大多數(shù)情況下，我同意它們的看法。需要收集分析的數(shù)據(jù)的數(shù)量正在跨越式發(fā)展。依我看，數(shù)據(jù)的發(fā)展主要受限于運(yùn)算法則和提出問題，開發(fā)設(shè)備的人們的想象力。
而最終，我們成功的關(guān)鍵就是如何從老舊的管理方式和技術(shù)中突破出來，研究出新的管理方式和技術(shù)。