只要亞馬遜的James Hamilton發言,凡是對數據中心技術有點興趣的人都會洗耳恭聽。在今年的AWS re:Invent大會上,亞馬遜副總裁兼杰出工程師Hamilton描述了歷時五年對驅動亞馬遜網絡服務(AWS)的數據中心生態系統進行的自上下而的全面整改。
網絡方面需要搞定
Hamilton一開始表示,網絡是需要改進的頭號目標。與網絡有關的成本急劇上升,而計算成本卻一路下跌。首要原因是,亞馬遜的工程師們無法改動現成的網絡設備和現有協議,以滿足負載需求。于是這家公司弄清楚了要做哪些工作,并與一家原始設計制造商(ODM)簽訂了合約,制造定制的網絡設備。此外,亞馬遜聘請了一隊人馬,開發一套新的協議堆棧,以減少網絡層次體系和網絡延遲。
值得關注的是,Hamilton在整個發言期間數次提到現成的設備從來不是企業數據中心的上好選擇?,F成設備旨在滿足一大批客戶的要求,繼承了軟硬件臃腫的毛病,這個問題讓企業根本無法對特定的操作進行各種簡化。
亞馬遜數據中心生態系統概況
隨后,Hamilton詳細介紹了AWS當前的數據中心生態系統,首先從該公司的全球基礎設施開始說起。
圖A
AWS地區(圖A):亞馬遜將全球分成11個地區。這么做為亞馬遜客戶帶來了下列優點:
- 簡化了遵從數據存儲方面的政府法規這項任務。
- 縮短了客戶的網絡與亞馬遜的轉運中心(Transit Center)之間的延遲。
Hamilton表示,亞馬遜還很早就決定在各地區之間鋪設專用光纖,這消除了爭奪資源的現象,提高了可靠性,縮短了延遲,并且便于容量規劃。
圖B
AWS可用區域(圖B):28個可用區域分布在AWS的11個地區,這意味著亞馬遜至少建有28個數據中心。每個可用區域都有冗余路徑通向轉運中心和同一地區的其他可用區域,使用密集波分復用(DWDM)鏈路。亞馬遜要求可用區域之間的延遲低于2毫秒,可用區域之間的光纖鏈路必須處理每秒25 Tb的流量負載。
圖C
AWS數據中心(圖C):Hamilton提到亞馬遜選定的數據中心規模為25兆瓦到30兆瓦,相當于50000臺到80000多臺服務器。據Hamilton聲稱,這個規模是最優規模:再增大規模,亞馬遜的投資回報率就要下降。此外,萬一出現災難性故障,更龐大的數據中心無異于增加了風險。每個數據中心經過精心配置,以處理每秒102 Tb的負載。
圖D
AWS機架、服務器和網卡(圖D):除了網絡延遲外,Hamilton表示他們還發現服務器軟件堆棧方面的延遲無法接受:
- 軟件堆棧包括應用程序、訪客操作系統、虛擬機管理程序和網卡,延遲為數毫秒。
- 流量通過網卡傳輸,延遲為數微秒。
- 流量通過光纖鏈路從一臺服務器傳輸到另一臺服務器,延遲為數納秒。
為了消除軟件堆棧延遲,現在亞馬遜為每個訪客提供了一塊虛擬網卡,采用單個Root輸入/輸出虛擬化(SR-IOV)技術。Hamilton解釋,使用SR-IOV方面的難點在于,弄清楚如何隔離每個虛擬網卡、防止分布式拒絕服務攻擊(DDoS)以及監控容量。
圖E
AWS定制服務器和存儲設計(圖E):之前提到了現成的網絡設備對亞馬遜來說是一大阻礙。Hamilton表示,現成的網絡設備對服務器來說同樣是一大阻礙,于是公司決定制造專有的服務器、處理器和機架:
- 服務器由亞馬遜負責設計、OEM廠商負責制造。
- 處理器采用了亞馬遜與英特爾共同開發的定制設計。
- 亞馬遜機架里面裝有864個硬盤,重量超過2000磅。
圖F
AWS電力基礎設施(圖F):制造專有的網絡設備、服務器、處理器和機架似乎并不是非同尋常??捎姓l想到建造變電站?規劃和建造變電站似乎是個漫長的過程,實在太漫長了,而亞馬遜在不斷建造數據中心。于是,亞馬遜管理層認為,建造自己的變電站、消除瓶頸對公司最有利。
至于電力方面,與谷歌和微軟一樣,亞馬遜也青睞電力采購協議(Power Purchasing Agreements)以及相關的可再生能源證書(Renewable Energy Certificate)。
Hamilton的結束語
Hamilton在發言結束時談到了亞馬遜的“創新步伐”。AWS在迅速發展,這就帶來了一些管理方面的問題:在競爭激烈的市場如何保持靈活。Hamilton語氣歡快地聲稱,AWS正以更快的步伐交付更多的服務,可靠性也有所增強。
英文原文鏈接:http://www.techrepublic.com/article/a-look-at-amazons-world-class-data-center-ecosystem/