2013年12月10日,全球領先的信息與通信解決方案供應商華為,攜創(chuàng)新型OceanStor 9000大數(shù)據存儲產品參加“2013英特爾高性能計算技術峰會”。本次大會由英特爾主辦,主題為“綠色計算 應用驅動“,50多家國內頂尖的高性能計算研究機構,近200名專家、學者、行業(yè)代表與英特爾高管與技術專家一同出席了本次峰會。與會專家通過主題演講分享了高性能計算(以下簡稱HPC)前沿技術與創(chuàng)新成果,通過專業(yè)論壇深入探討了HPC當前的技術熱點與趨勢,并進行了多形式的學術交流。
本次峰會參與單位涵蓋國家超算中心,各省市超算中心,中科院、華大基因、生命科學院等若干高性能計算研究機構,以及清華,北大等10多家國內名校。陣容強大,堪稱國內高性能計算研究領域的重要盛會。
中國石油東方地球物理公司研究院處理中心總工程師賴能和提到:“當今的高性能計算遇到了諸多問題,如多處理器協(xié)同工作,CPU+GPU模式的能耗管理,但是最重要的還在于大數(shù)據應用中遇到的存儲瓶頸和數(shù)據安全問題。”
本次大會,華為參展的OceanStor 9000大數(shù)據存儲系統(tǒng)正是用于解決高性能計算下的大數(shù)據存儲瓶頸、數(shù)據安全以及數(shù)據全生命周期管理問題的最佳大數(shù)據存儲平臺。近日,華為OceanStor 9000大數(shù)據存儲系統(tǒng)在標準性能評估機構SPEC的SPECsfs2008基準測試中再次刷新記錄。評測結果顯示, 華為OceanStor 9000僅使用100個節(jié)點,在NFS網絡共享協(xié)議環(huán)境下的性能值就達到了驚人的5,030,264 OPS,成為業(yè)界第一,領先友商產品3倍多。華為OceanStor 9000大數(shù)據存儲系統(tǒng)可以支持288個節(jié)點,實現(xiàn)靈活的擴展能力,提供“scale-out”式的性能和容量線性擴展能力,200GB/s系統(tǒng)帶寬可以滿足高性能計算集群在大數(shù)據存儲和數(shù)據交換上的帶寬需求。
固態(tài)硬盤、Infiniband互聯(lián)技術這些HPC領域的關鍵技術,也成為本次峰會上的重要議題,而此類前沿技術在華為OceanStor 9000大數(shù)據存儲系統(tǒng)上也均有體現(xiàn)。OceanStor 9000大數(shù)據存儲系統(tǒng)提供的高性能節(jié)點,帶有4款華為自研的固態(tài)硬盤,系統(tǒng)可以實現(xiàn)冷熱數(shù)據的自動遷移,以保證計算系統(tǒng)能最快的獲取數(shù)據。并且支持Infiniband組網方式,同時提供了廉價的基于10GE+RDMA的組網。通過充分利用RDMA等功能,使得傳統(tǒng)意義上認為高時延的IP總線具備可以媲美IB低延時能力。
相對于大數(shù)據來說,高性能計算在很多行業(yè)用戶中都得到了較早的部署與應用,在軟硬件一體化平臺、數(shù)據存儲等方面為大數(shù)據應用打下良好的基礎。特別是高性能計算和大數(shù)據在內在邏輯上是相通的,在平臺擴展、應用落地等方面具有互補優(yōu)勢,這就滿足了高性能計算和大數(shù)據進行融合的充分性條件。OceanStor 9000大數(shù)據存儲系統(tǒng)正是這一思想的踐行者。它提供了對數(shù)據的分析檢索接口,高性能計算集群系統(tǒng)可以利用該接口將原有的數(shù)據分析任務,下移到存儲系統(tǒng)執(zhí)行,從而降低上層計算系統(tǒng)的運算壓力。對于采用Hadoop計算框架的高性能計算集群,在原有Hadoop系統(tǒng)中,一級存儲的數(shù)據需手動從計算集群遷移到二級存儲,過程復雜繁瑣;二級存儲數(shù)量龐大,難于管理。另外這種大量數(shù)據的遷移,不僅耗時,對計算網絡也造成很大的負擔。OceanStor 9000大數(shù)據存儲系統(tǒng) X位一體的思路對于這種用Hadoop計算框架的應用而言,尤其有益。采用OceanStor 9000大數(shù)據存儲系統(tǒng)作為存儲系統(tǒng)的高性能計算系統(tǒng)可免除跨設備數(shù)據的裝載、遷移,不僅降低了管理成本,也降低了設備采購成本。