[摘要]：本文分析了當前服務器能耗現狀及挑戰，從芯片級、基礎架構級、系統級三個層次介紹了當前國內外相關節能技術研究現狀，并闡述剖析了未來服務器節能技術的發展方向，全文概述了服務器能效評價技術的現狀并展望了未來中國服務器能效評價標準。
[關鍵詞]：自主節能 系統級 能效評價
服務器能耗的增加主要體現在如下幾個方面：首先是CPU功耗的增加，幾十年來，CPU的發展基本遵循摩爾定律，其制造工藝不斷提升，晶體管越來越小，頻率越來越高，在其計算能力飛速提升的同時，其功耗同樣增長驚人；其次是內存及其功耗的增加，自從馮*諾伊曼架構誕生以來，內存就成了計算機中必不可少的部件，隨著制造工藝的改進，內存容量越來越大，速度越來越快，現在主流的DDR2和FBD內存均已達到10W這個量級；再次是芯片組和外圍設備，由于CPU和內存頻率不斷提高，這就要求和它們配合的芯片組，總線和外圍設備都需要工作在更高的頻率，才能充分發揮其性能，而更高的頻率意味著更多的電能消耗；第四方面是機房制冷和供電設備的能耗，由于服務器對高溫非常敏感，因此機房必須配置大量的制冷設備，而且機房供電設備在把電壓轉換為220V時，會損失部分電能。以百萬億次超級計算機-曙光5000A為例，其采用近4000顆四核處理器構建，總內存容量達64TB，存儲容量達500TB，總體功耗達到700千瓦，其每年的電費開銷預期將高達1000萬元人民幣以上，未來持續千萬億次超級計算機系統的能源消耗預期將遠高于以上估算，可以說，當前節能已逐漸成了服務器技術的關鍵詞。
服務器節能技術研究現狀及發展趨勢
能耗和散熱的限制是發展多核技術的初始動機，長期以來，業界在服務器節能技術方面做了大量的努力，研究主要集中在三個方面：芯片級節能技術，如CPU功耗控制、CPU頻率調整、芯片級冷卻技術、低功耗專用芯片部件等；基礎架構級節能技術，如存儲致冷、高效率電源、水冷及液態金屬致冷機柜、智能溫控風扇等；系統級節能技術，如基于作業調度的機群節點休眠、面向能耗的進程及作業級遷移等。
芯片級節能技術
芯片級節能技術主要包括CPU功耗控制、CPU頻率調整和專用低功耗部件。
CPU加工工藝的不斷提升，多核及CPU中集成內存控制器，在提高性能的同時，降低了主板芯片組的功耗。另一方面，通過降低電壓和頻率也可以降低CPU的動態功耗，在CPU功耗控制方面，如Intel推出的動態功耗節點管理器（Dynamic Node Management）是一個內嵌于英特爾服務器芯片組的帶外 (OOB) 功率管理策略引擎。它與 BIOS 和操作系統功耗管理 (OSPM) 協作，動態地調整平臺功耗，從而實現服務器）性能/功耗的最大化。在專用低功耗部件研究方面，包括上海瀾起公司研發的高級內存緩存AMB芯片、SSD固態電子硬盤等技術與產品。
基礎架構級節能技術
基礎架構級節能技術主要包括液冷、存儲制冷、高效能電源、高效能散熱冷卻技術等諸多技術。
高效能散熱冷卻技術包括研究效率更高的散熱方式和性能更好的冷卻設備，如HP PARSEC體系結構(Parallel Redundant Scalable Enterprise Cooling)、IBM的機房冷卻系統等。存儲制冷（Stored Cooling）指預先基于制冷設備存儲部分制冷能力，在需要時再有效釋放，類似電池的儲電功能，如IBM基于存儲冷卻技術的機房冷卻方案。液冷技術包括水冷及液態金屬制冷，由于其導熱能力強并且熱容更大，能夠更快的緩解負載突變造成的散熱壓力并吸收更多的熱量，在當前大型計算機中使用越來越普遍，如IBM Cool Blue機柜系統。
系統級節能技術
在解決功耗方面，除采用上述CPU功耗控制、CPU工作頻率調整、液體冷卻、低功耗專用芯片、芯片級冷卻等技術以外，學術界和企業界也在研究系統級節能技術和產品，包括：基于負載情況動態調整系統狀態、實施部分節點或部件的休眠；根據各進程能耗的不同對CPU任務隊列進行調整，如將一些產生較多熱量的任務從溫度較高的CPU上遷移到溫度較低的CPU上從而實現能耗的均衡。如國家高性能計算機工程技術研究中心開發的自適應功耗管理系統，可實現基于能效的作業調度策略，IBM PowerExecutive允許用戶 “ 計量 ” 任何單一物理系統或一組物理系統的實際電力使用數據和趨勢數據，并可對實際用電量進行監視，并在系統、機箱或機架層次上對數據中心中的電耗和熱耗進行有效分配。
服務器節能技術發展趨勢
當前全球最快性能Top 500超級計算機其每瓦Gflops性能都在0.5以下，未來高效能計算機系統，其每瓦Gflops性能應在1.0GFlops per watt 以上，當前混合異構體系結構、自主節能管理、應用加速、系統級節能等技術的發展正推動這一目標的逐步實現。
體系結構促動節能技術的發展
雖然尚存在軟件的可用性、任務調度、編程模式等諸多問題，基于標量處理器、FPGA、向量及多線程處理器、圖形處理器等來構建混合異構的高性能計算機系統已成為解決能耗的主要途徑之一，其中可重構計算結構能以較低的硬件復雜度實現指令、數據及線程級并行，并且具有較大的性能/功耗、性能/價格優勢，已廣泛應用于科學計算等諸多領域，以實現應用加速。采用混合異構的高性能計算機系統包括IBM代號為“Roadrunner”的千萬億次超級計算機，其采用混合異構刀片機群來構建，每個機箱包括3個計算節點，每個節點包括4個刀片，2個QS22 Cell刀片，1個擴展連接刀片，另外一個是LS21雙核AMD Opteron刀片。全系統采用6562顆AMD 雙核Opteron CPU 和12240顆八核Cell 處理器芯片，其中，Opteron處理器負責一般的計算進程、文件IO和通訊，Cell負責那些復雜的、重復的、大量消耗機器資源的計算過程，同時Roadrunner還采用先進的“混合編程（Hybrid Programming）”軟件，以實現異構計算。該款機器以437.43 MFLOPS/watt的能效成績排在Green500中第三名。
節能趨向全方位發展
芯片級、基礎架構級以及系統級節能確實能夠節約部分功耗，但并不能提高機房的冷卻效率，高性能計算機系統中節能和散熱冷卻是緊密結合在一起的，基于服務器能耗監控和制冷設備的聯動可以提升冷卻系統的效率，實現精確制冷。服務器能耗監控和制冷設備的聯動基于完整的機房散熱模型，評估機房的散熱效率，并根據散熱模型計算相應制冷量，調整空調的風壓和風速、液冷機柜的溫度、流速、機柜風扇轉速以實現精確制冷的需求。
可以說，未來服務器系統的節能必將向芯片、基礎架構、系統、機房制冷聯動全方位發展，包括芯片級節能技術、低功耗專用芯片、芯片級冷卻、應用加速、液體冷卻、CPU頻率動態調整、功耗限制、實施部分節點或部件的休眠、根據各進程能耗的不同對CPU任務隊列進行調整、基于能效的作業調度策略、基于散熱模型的機房制冷聯動等諸多方面。
自主節能管理浮出水面
未來節能管理和服務器監控管理融合的趨勢將進一步增強，包括自動監控各類資源部件的能耗，對能耗監控歷史數據深度挖掘、關聯推理并實施系統動態功耗預測，通過其自配置、自恢復、自優化等特性自主地采取措施、減少人工干預，實施和作業調度、虛擬計算環境、機房制冷的聯動，可根據應用的能耗特征構造虛擬計算環境，并提供保證服務質量的綜合手段以及分析、診斷應用系統的工具，減少人工干預，以實現智能功耗管理。自主節能管理可以有效緩解高性能計算機系統管理的復雜性和功耗壁壘雙重壓力。
服務器能效評價技術現狀
服務器系統的發展離不開基準程序測試。按照應用類型，基準測試程序可分為科學計算、商業應用、信息服務等。按照測試關注的對象，包括宏觀基準測試程序和微觀基準測試程序兩類。宏觀基準測試程序測量服務器系統的總體性能，如NPB包括5個核心程序和3個CFD應用程序，用來測試大規模計算機系統性能；PARKBENCH基于Fortran90和HPF來測試共享或分布共享計算機結構的性能；PMB是由Pallas研究開發的一套綜合的MPI基準測試程序集；PmaC是一套測試大規模計算機系統基本性能的正交基準測試程序集；HPCC綜合考慮了計算、訪存、通信與輸入輸出性能指標，試圖取代傳統的Linpack Benchmark 成為TOP500排序的依據。微觀基準程序測量服務器系統某個特定方面的性能，如CPU速度、存儲器速度、I/O速度、操作系統性能和網絡性能等，如Linpack側重于系統浮點峰值運算能力的測試。目前已提出和正在使用的基準程序組已超過100多個。
當前在服務器能效評價標準及技術方面，主要有如下幾種評價方式
SPECpower_ssj2008
國際標準性能評估機構（SPEC）發布了SPECpower_ssj2008,這是業界第一項用于評測系統級別服務器的與運算性能相關的功耗基準測試工具，其測試模型如下圖1所示。SPEC設計的SPECpower_ssj2008不僅可以作為一項指標來比較不同服務器之間能耗和性能，還可作為提高服務器效率的工具集來使用。SPECpower_ssj2008可以評估服務器系統在10%負載的待機模式到100%滿負載狀況下的功耗數據，測試的負載為典型的服務器端的JAVA商業應用程序。負載可擴展，多線程，可以在不同的操作環境間移植。
SPECpower_ssj2008測試模型
運行在SUT（System Under Test）上的負載SSJ（Server Side Java）是一個模擬標準三層客戶-服務器架構的java實現。SSJ包含JVM Instance和JVM Director,JVM Instance包含三層：Threads(tier1)，Business Logic(tier2)和Warehouses(tier3)。JVM Director和實際負載同時運行，它的主要作用是控制負載上的JVM實例；與CCS通信，接受和分發來自CCS的命令；收集負載數據并向CCS報告。
Green Top 500
2007年11月，在美國內華達州里諾市舉行的超級計算2007大會上，美國弗吉尼亞工學院首次發布了“綠色500（Green500）”超級計算機排行榜，對全球能效最高的超級計算機進行了排名，以作為TOP500排行榜的補充。Green500榜單中所有的系統都以MFLOPS/Watt（百萬次浮點運算/瓦特）來統計其性能功耗比。MFLOPS數值來自TOP500榜單中所上報的Linpack基準測試性能,Watt值來自系統運行Linpack基準時的測量功率，或者是基于系統規格估算出的最大功率，單節點能耗基于功率表、電壓計、電流計測得，用多個節點的功耗求平均，再乘所有計算節點個數，得到系統總能耗。
在第31次Top500排行榜名列第一的Roadrunner, 以437.43 MFLOPS/watt能效成績排名Green500第三，另外兩臺系統都是IBM基于Cell處理器的QS22超級計算機，能效值分別為488.14 MFLOPS/watt、488.14 MFLOPS/watt。
Green Grid
2007年成立的行業協會Green Grid 開發了測量數據中心效率和生產力的標準，如圖2所示。指標PUE（Power UsageEffectiveness，電力使用效率）=總設施耗電量與IT設備耗電量之比。應當小于2，越接近1越好；指標DCiE（DataCenter infrastructure ，數據中心基礎設施效率）=IT設備耗電量x100與總設施耗電量之比，數字越大越好。這兩項指標被用于將數據中心消耗在供電和冷卻上的電量與數據中心的IT設備使用的電量進行比較。Green Grid最終希望為數據中心拿出一個類似于汽車每加倫英里數的指標，不過，采集能耗數據以及應用這兩項指標，使其可被應用于不同機構的數據中心效率上，仍有很多工作要做。
Green Grid 評價指標
中國服務器能效評價標準展望
如何衡量服務器系統的能效？一方面服務器的能效囊括CPU、內存、外圍芯片組、電源、硬盤等諸多部件能耗的狀況，我們需要開發新的度量準則（metrics）和benchmarks來測量和預測服務器系統及部件級能效特征，這種基準測試往往基于壓力測試，評價服務器及其組件的極限能效性能，另一方面，我們也必須看到服務器的能效和應用的能效需求密不可分，應用在影響服務器系統性能的高低、規模的大小的同時，也在影響系統整體能效的輸出狀態，所以高性能計算機的能效評價我們必須考慮到應用的因素，應用的多樣性和新技術的涌現，導致了大規模計算機系統實現形式的多樣性，能效評價應能適應這些新的變化，并能關注到系統的占地面積、維護成本、可靠性、可用性、好用性、總體擁有成本、可編程性、可移植性等各影響因素的層次關系，最終目標應是實現以應用效率為導向的服務器能效評價體系，而非單一的功耗度量準則。
（新聞稿 2008-10-16）