Mesa是什么
先行發布的論文摘要可以讓我們對Mesa一窺究竟:
Mesa是一個高度可擴展的分析數據倉庫系統,能存儲與Google廣告業務有關的關鍵測量數據。Mesa能滿足復雜和具有挑戰性的用戶與系統需求,包括近實時數據提取和查詢,同時在海量數據和查詢量中保持高可用性、可靠性、容錯率和擴展性。Mesa每秒能處理數百萬行更新,每天進行數十億查詢抓取數萬億行數據。Mesa能進行跨數據中心復制,即使在整個數據中心故障時,也能以低延遲返回一致和可重復的查詢結果。
本質上來說,Mesa是一個ACID式數據庫(即,如果有人進行查詢,就會得到相應數據),速度快,規模大,可靠性強。它被設計為處理與Google廣告業務有關的需求(服務內部用戶,以及消費者的前端查詢服務),但也能作為一般數據倉庫系統,供其他用途。
與其他產品有何區別
當然,Google早就擁有自己的數據系統,比如BigTable、Megastore、Spanner和F1。但BigTable無法提供必要的原子性;Megastore、Spanner和F1在跨區域數據上能保證一致性,卻無法滿足峰值更新吞吐量需求。當然,Mesa在元數據存儲和維護上利用了之前的技術。
另外Google自身的Dremel,以及Facebook 與Twitter數據系統,一般只用作處理批量數據裝載,而不是像 Mesa那樣即時處理數據。而且,目前的商業產品或產品系統均不能用來管理跨數據中心的重復數據,這些系統也并非基于云技術,靈活性也不強。它們對動態條款和資源置換的適應性也很弱,無法處理數據負載波動。
不只是一個數據庫
Mesa比較值得注意的一點是其硬件。之前的系統都使用價格昂貴的企業級硬件,但Mesa使用Google的標準云設施,均由自己設計和建立。
長期來看,Mesa不只是一個數據倉庫系統。像Hadoop那樣的社區也在密切關注Google的新動向,這可能會代表一波技術潮流。另外,從云計算角度看,這會加劇與亞馬遜和微軟云服務的競爭,進一步拉低市場價格。Google一直以高精尖技術聞名,這一次Mesa估計也會拉開其與同類公司的距離。