項目背景
華南理工大學是直屬教育部的全國重點大學,校內設有中國教育和科研計算機網華南網絡中心、廣東省教育和科研計算機網絡中心。學校治學嚴謹,形成了"團結、勤奮、求實、創新"的優良校風,在華南理工引入高性能計算,有助于推進新的科研項目,提供數據論據。
華南理工大學高性能計算系統是將為教學科研的大型科學問題等進行并行計算和深度計算而需要建立的,屬于計算密集型高性能計算項目,對研究方向所涉及的大規模高復雜性系統模型驗證算法、大規模數據處理與服務等問題的研究提供有效的支撐平臺,對在整個實驗室運轉過程中的各種高性能與大容量應用要求和服務提供支撐平臺,對LINKPACK值LINKPACK效率等要求達到最好。
項目目標
切實實現高性能并行計算應用分析
高性能并行計算的應用軟件位于高性能計算生態系統的最上層,針對不同的行業有專業的產品,針對各個領域的科學與工程計算應用,直接為用戶創造價值。這些軟件原來大多運行在大型主機上,是面向多個處理器、多進程、多任務的單節點軟件,進程之間的通信通過大型主機操作系統的消息機制進行,消息機制的啟動通過函數進行調用。
本系統中,應用軟件面向教學和科研應用領域的多個方面基于多節點IA架構系統,進程或任務之間的通信,基于多節點集群的中間件提供的并行通信庫MPI,物理層是基于標準互聯以太網系統。并行庫的啟動,通過特定的程序語句進行調用。
高性能應用軟件總體概括分類:
√多媒體運算
主要使用整型和雙精度運算。包括圖形圖像處理和三維圖像生成的高性能計算系統,強調計算節點的多媒體計算功能。計算科學院的大氣科學和流體力學應用中需要的許多模擬仿真計算都屬于這類計算。
√科學計算
主要使用浮點運算功能,這也是目前高性能計算系統的最主要應用領域。比如:高分子運動分析、石油勘測分析等。計算科學院的大氣科學、固體力學、分子力學、流體力學、有限元分析等的主體計算都屬于這類計算,這類計算需要系統具有強大的浮點運算能力。本項目的計算屬于此類應用。
√數據庫應用
主要使用邏輯計算和I/O操作。包括數據庫集群系統和網格數據庫系統的應用。強調計算節點有很強的I/O處理能力,同時,整個高性能計算系統具有足夠的外接存儲空間。本系統結合此類應用,奠定未來網格計算的基礎。
INTEL和寶德技術人員針對華南理工的項目特點和目標,投入極高的專注和熱情,在華南理工項目前期進行了詳細的測試分析,提出系統優化和移植的策略,幫助客戶將微分方程數值計算并行模擬器勘測系統移植到IA平臺上。
Intel還提供了系列的優化工具、編譯工具、集群工具等眾多高性能計算組件和虛擬技術,為IA架構、標準互聯的高性能計算系統應用提供高效率的保證,成為本次HPC項目成功實施的關鍵。
解決方案
近年來,高教體系的專項科研項目依托國家863計劃,氣象建模、模擬撞車試驗、人類基因組圖譜繪制以及模擬核爆炸等各種與人類生命息息相關的重要領域都要用到 HPC 。高性能計算(HPC)本身通常用于處理世界上最復雜和艱巨的計算難題,并往往能夠徹底解決這些問題。突飛猛進的性能、急劇下降的成本以及勢如潮涌的需求等眾多因素,促使 HPC 迅速走出科研實驗室,步入主流商業領域。
2005-3月,由于2004年以來,寶德科技已經和北京大學、國家氣象局、南京師范大學、華南工業大學等等多家科研單位進行了HPC的項目合作,在高校的科研計劃中關注到華南理工大學需要類似的計算壓力設備,從而開始針對性的洽談和合作;
立足寶德前期的成功合作案例和經驗,在INTEL的大力支持下,寶德通過長達2個月的校方應用方向和需求分析,運用INTEL解決方案中心的測試條件,同時兼顧后期校方的更大規模網格計算的擴展需要,針對性的推出了POWER 8000 HPC應用方案。
華南理工大學高性能計算計算集群系統是一個是基于網絡、面向科研等的大型高性能并行計算系統,該系統的基礎是主控節點、計算節點等硬件基礎平臺的建設和互聯系統的建設。
在Intel的支持下,寶德科技、華南理工大學以及Intel三方以寶德IA 64位雙路安騰2為計算節點的寶德Power Cluster8000I高性能計算機系統,采用免費OSCAR中間件實現節點管理、任務分發和集群監控,使用Infiniband MPI的優化通信庫模塊來實現節點之間的進程通信,近乎達到大型機中多進程間消息傳輸機制的效率,再加上一套完整的Intel優化編譯工具和函數庫等軟件來優化數科院的應用,使系統的性能得到充分的發揮,成為高校高性能計算系統推廣的表率之一。
項目特點
虛擬化技術
寶德科技提供的43臺PR2510D雙核服務器以及56臺PR4850四路服務器全部應用在華南理工的信息化系統中。到目前為止,寶德服務器優質的性能、穩定的運行給華南理工帶來很大的收益。其中,寶德通過虛擬化技術:
1)最大程度的提升系統管理能力;
2)降低復雜性和總體硬件成本;
3)提供同一個硬件平臺運行不同版本軟件的能力
虛擬化技術能使華南理工高性能計算計算集群系統在一臺服務器上同時運行多個操作系統,這與“多重任務處理”技術有些類似。不過“多重任務處理”技術只允許用戶在同一機器設備的同一操作系統中運行多個程序,而虛擬化則可讓用戶在同一機器設備中運行多個操作系統。這樣用戶能更靈活高效地配用計算機資源,并且有助于提高安全性能。
華南理工高性能計算計算集群系統采用虛擬化技術,實現了:
性能擴展空間
• 全緩沖DIMM內存:帶寬提高三倍,容量提高四倍
• 高帶寬PCI Express成為英特爾架構服務器的標準配置
• 英特爾® I/O 加速技術支持快速傳輸數據
• 帶有專用FSB的多核提供了充足性能擴展空間
軟件兼容
• 通過處理器中的硬件輔助特性,為虛擬軟件解決方案提供了補充
可靠性
• 超長的實際應用運行時間
易于部署易于管理
寶德高性能計算集群系統采用專業的集群管理軟件,實現了集群部署的自動化,快速化,同時使整個集群系統更易于管理員管理,形成了一套單一映像的集群軟件架構。
開放通用計算平臺
寶德高性能計算集群系統的軟件和硬件以及基礎架構都力求規范、標準、開放、通用,以方便用戶使用和在其平臺上開發自己的應用。因此,該平臺可最大限度的提高應用的效率和移植性,適合于石油勘探、數值氣象預報、流體力學分析、CFD、基因科學、多媒體、金融數據挖掘分析等多種領域多種應用的部署。
項目收益
為大氣科學、固體力學、流體力學、有限元等進行并行計算和深度計算的需要而建立的HPC系統。對研究方向所涉及的大規模高復雜性系統模型驗證算法、大規模數據處理與服務等問題的研究提供了有效的支撐平臺,性能超過語氣,而成本投入比小型機集群節省60%。
系統拓撲圖
用戶評價
“利用現代小型服務器,取代UNIX主機,降低總擁有成本,實現高性能并行運算,寶德為華工做的非常成功!謝謝!!”
李云之 華南理工大學副校長
優秀!相信后續的合作會更加順利!
李寶琛 華南理工大學網絡中心副主任
(新聞稿 2006-06-26)