研究計畫

氣候變遷研究聯盟總計劃下共有三個子計畫

  • 氣候變遷模擬平台

    本計劃將公開自行發展的模式群組給國內研究社群,組成模擬策略聯盟,進行不同時空尺度的氣候變遷模擬與推估,並提供必要的諮詢服務。

  • 氣候變遷資料平台

    本計劃將建置大型資料儲存系統,典藏以下二類氣候變遷資料,並提供給國內研究社群進行氣候變遷基礎與衝擊推估研究。第一類為氣候模擬與推估資料,包括本計劃產出的長氣氣候模擬資料與CMIP5 (Taylor et al. 2011)氣候變遷推估資料。第二類為各大研究中心產出之長期(數十年至百年)全球重分析資料,如NCEP CFSR (Saha et al. 2010)、20 Century Reanalysis (Compo et al. 2011)、ERA CLIM (http://www.ecmwf.int/)等。上述之國外資料量雖然為網路公開資料,但是總量十分龐大高達數PiB,單一研究人員或團隊不易收集完整資料。如由本計劃專門負責收集管理,再提供學研界使用,可達事半功倍的效果。


 

計算資源需求說明

 

誠如前言所述及氣候變遷研究聯盟/氣候變遷實驗室所揭櫫的計劃研究目標與方向,要能成功完成模式建置與發展,其除了結合國內外研究人員的全力投入外,其中氣候變遷模式發展及資料平台,其可靠性(Reliability)、可用性(Availability)及可擴充性(Scalability) 的良窳將扮演關鍵性的角色。此外,此平台所具備能提供的計算資源以及所需的經費可否能在兼顧計劃時程及成本效益(Cost-Effectiveness)的前提下充分滿足本計劃之需求更是為此計劃是否能順利執行的決定要素。

 

國研院國家高速網路與計算中心自成立以來,即並重研究發展與產學合作。除致力於高速計算與網路相關技術與應用研發外,並積極貼近產業及學術界,透過有效整合及運用高速計算之研發能量,進一步與產學進行跨領域研究合作,建立互惠之合作關係。此外國網中心亦擁有國內首屈一指的專業高速計算設施及系統諮詢服務。而此次適逢國網中心100年度大型計算主機之建置,為突破過去計算與研究尺度之限制,加速科學發現及科技創新並且有效管理計算資源,以協助國內具有大型運算潛力之學研用戶擴大計算規模與能量,提升其研發之國際競爭力。故特別針對具大量平行運算之指標性研究計畫為服務目標,而提出了「國網大型運算計畫」,而該計畫的宗旨恰好與本計畫的需求與目標不謀而合,因此希望能藉由此次參與該計畫,除有助於本計畫的推動與執行外,更希冀能立下雙方跨領域研究合作之新典範。

 

在氣候變遷模擬與資料平台之建構部份,考量各研究單位現有計算資源、資料分析特性及各子計畫的配合時程,此次氣候變遷研究聯盟之總計劃:氣候變遷實驗室參與「國網大型運算計畫」,主要方式是針對全球地球系統模式及高解析度全球大氣模式,使用國網中心所新建之「御風者」超級電腦(Alps)以作為主要氣候變遷模擬及發展平台。

 

進行氣候模式模擬時,其必需依靠能夠模擬大氣和海洋的三維網格,在連續的空間間隔或網格格點上,運用各種物理及化學定律去計算大氣和環境變量,以模擬大氣中氣體、粒子和能量的傳遞以及模擬海洋生態系統與溫室氣體相互作用藉以了解大氣、海洋和地表的碳循環以及溫室氣體與其他大氣化學物質對氣候的影響性。因此若是希望能得到較好的模擬結果,使用高解析度的網格格點將是一個重要的關鍵。

 

為了更能了解全球地球系統模式CCSM4/CESM1諸如對流、邊界層、地表過程、幅射、雲微物理等參數特性以及進一步了解海洋和大氣運動方式對區域氣候的影響性以及未來幾十年氣候變化對包括颶風在內的熱帶氣旋的強度和頻率將會產生何種影響,俾使能進行相關修改參數並自行發展相關替代模組,計畫前期研究人員將主要針對全球氣候模擬模型CESM (http://www.cesm.ucar.edu/)在0.25°高解析度下(ATM: 1152x768 / OCN: 3600x2400),以及GFp HiRAM2在C360 (0.25°)及C720 (0.125°)高解析度下,進行大規模相關模型模擬分析。

 

  • (a) 針對 1901~2100 期間, 以單年份為一獨立模擬週期並各自搭配CCSM/CESM 在不同種類耦合模型(CAM / POP / CLM / CICE)下至少8 組不同的Scheme,並能在1 年的時間內,完成全部共1,600 組的模擬分析。
  • (b) 在 5 年內,每年能針對1901~2100 期間之特定年份分別使用CESM1 及HiRAM2 進行至少4 組連續15~30 年的Sensitivity Test 模擬分析以期能更進一步了解其關連性及影響性評估。

需求分析

中央研究院環境變遷中心已於2009年5月在中央研究院網格中心機房 (AGGC/DC) ,完成建置一套高效能運算叢集系統 NUWA,其主要由12組HP BL460c刀鋒伺服器 (公用服務節點)、124組BL2x220c刀鋒伺服器 (248組計算節點)、HP MSA2000 / Infortrend R1430 / Infortrend R2840磁碟儲存設備數組、Voltaire / HP InfiniBand DDR超高速網路以及HP 4Gb/8Gb光纖通道(Fibre Channel)交換器所組成。其共配置 1,984 CPU-core (Intel Xeon E5450 3.0GHz Quad-Core CPU)、2GB/CPU-core記憶體以及423 TiB Lustre平行檔案系統資料儲存空間以提供中心研究人員及合作學者進行天氣及氣候模型模擬分析之用。

「台灣氣候變遷推估與資訊平台計畫」(簡稱TCCIP)也於2011年1月,同樣於中央研究院網格中心機房 (AGGC/DC) ,完成建置一套高效能運算叢集系統 TCCIP,其主要由10組HP p380機架式伺服器 (公用服務節點)、96組BL460c刀鋒伺服器 (計算節點)、HP P2000 / EVA6400磁碟儲存設備數組、Voltaire / HP InfiniBand QDR超高速網路以及HP 4Gb/8Gb光纖通道(Fibre Channel)交換器所組成。其共配置 1,152 CPU-core (Intel Xeon X5650 2.67GHz 6-Core CPU)、2GB/CPU-core記憶體以及160 TiB Lustre平行檔案系統資料儲存空間以提供研究人員進行WRF及CReSS區域模式氣候模型模擬分析。

受限於此次Alps系統開放測試的時間較短以及系統仍持續在調整的影響,因此我們無法作大規模的實機測試。但為了能大致估算此計畫所需的計算資源,在真正的環境進行實機效能測試之前,我們仍先依現有曾在NUWA及TCCIP上所完成多組實機效能測試結果及相關理論來先行推估未來執行此計劃所需之計算資源。

  1. f02_t12.B1850CN@NUWA 效能測試

    我們以全球氣候模型CESM 1.0.1 , 針對f02_t12.B1850CN (ATM:1152x768 / OCN: 3600x2400)模式,在0.25°高解析度下,在現行NUWA系統下使用512 CPU-core,模擬5 days,其所花費時間為2582.770seconds/simulated day,也就是說其模擬效能約為10.91 days/ simulatedyear

  2. f09_g16.B1850@NUWA / f09_g16.B1850@TCCIP 效能測試

    為了了解在具備相同軟體環境的同一氣候模型及模式下,不同處理器及系統架構差異對其效能的影響性,我們分別使用Intel Xeon E5450 搭配InfiniBand DDR (NUWA)以及採用Intel Xeon X5650 搭配InfiniBand QDR的另一系統(TCCIP)進行實機測試比較。

    我們同樣以全球氣候模型CESM 1.0.1,針對f09_g16.B1850 (ATM:288x192 / OCN: 320x384)模式,均使用128 CPU-core,模擬31 days,其所花費時間分別為89.909 seconds/simulated_day 及38.257seconds/simulated_day , 也就是說其模擬效能分別約為2.63simulated_years/day 及6.19 simulated_years/day,後者約為前者效能的2.35 倍。

  3. HiRAM2 C360@NUWA 效能測試

    我們以全球氣候模型GFp HiRAM2,針對C360 (Δx ~ 25 km / 1152x720(nlon x nlat))模式,在現行NUWA 系統下使用216 CPU-core,模擬1 day,其所花費時間為2,082 seconds/day,也就是說其模擬效能約為8.795days/simulated year

  4. AMD Opteron 6176SE vs Intel Xeon X5650 HPL 效能測試

    AMD Opteron Magny-Cours 處理器與Intel Xeon Nehalem 處理器其分別為AMD 及Intel 目前市售主流之伺服器處理器。不過由於其不僅處理器架構不同連相關系統晶片組差異也很大。因此為了了解其效能差異,我們分別在配置二組 Opteron 6176SE 處理器(12 cores/CPU Socket , 共24CPU-cores)及2GB/CPU core 記憶體的HP p385G7 系統以及配置二組Xeon X5650 處理器(6 cores/CPU Socket,共12 CPU-cores)及2GB/CPU core記憶體的HP BL460 系統上進行單節點HPL 2.0 的效能測試,結果如下:

     

    整體來看,AMD Opteron 6176SE 的Scalability 相當不錯,均能維持線性關係而且其單一節點24 個CPU-Core (12 cores/CPU Socket)的整體效能也比單一節點12 個CPU-Core (6 cores/CPU Socket)的Intel Xeon X5650 來的高。不過若就單一CPU core 的浮點運算效能其卻不及於Intel Xeon X5650 處理器單一CPUcore 的效能。以8 CPU-Core/Node,36864x36864 的結果來看,6176SE 其效能約為X5650 的66% (54.57 GFLOPS vs 82.13 GFLOPS)左右。

    雖然Alps上實際配備的AMD Opteron 6174處理器與上述測試環境所採用的Opteron 6176SE效能略低,但Alps上單一計算節點配備4組處理器共48組計算核心並且搭配雙通道InfiniBand QDR的環境,若再加上國網中心專業人員的調校,我們相信,屆時的實機測試結果其數據表現應該會比以下的預估來的更好。

     

    假設某一應用程式,執行該工作時,其中有m 個部份可針對該部份予以不同程度的改善以提昇其效能。其中假設各部份所花費的時間分佔全部執行時間的百分比為Pi 且其效能為原有的Si 倍(1≤ i ≤ m)。根據Amdahl’s Law可得知,整體效能的增益(Speedup)ST ,不可能大於這個值

     

    若進一步假定某一應用程式,執行某一工作其所花費的總時間中,其中有百分比p 的比例,只要處理器運算效能能提昇為原有系統的n 倍,該部份就可以產生n 倍的Speedup,以此推估,其整體效能增益s 的最大值為

     

    ,也就是

    若我們根據之前(2)「f09_g16.B1850@NUWA vs f09_g16.B1850@TCCIP 效能測試」的結果推估,針對同一個Model 在使用相同數量的計算核心,TCCIP的Speedup 約為NUWA 的2.35 倍,假設TCCIP 系統在128 組計算核心時,計算部份的整體效能為NUWA 系統的k 倍( 2.35  k ),若應用Amdahl’s Law,,其中(1-1/2.35 < P <1) 藉此可推估當從128 組計算核心數增加至n組時,NUWA 及TCCIP 的Speedup 的變化情形。

     

     

     

    因此若計算核心數增加至768組時,假設k=3時,TCCIP的效能約為NUWA (n=512)時的1.9倍(5.3714/2.8271)。不過由於在(4) HPL測試結果中顯示,Opteron 6176SE的單一核心效能大約為Xeon X5650的66%,若先不納入系統在網路架構、檔案存取速度以及最佳化調校(如使用不同的Compiler版本及調整相關編譯組態參數)等因素,因此我們保守粗略推估,使用768組及1152組Opteron計算核心其效能分別約為NUWA使用512組計算核心的1.68倍(4.7431/2.8271)及1.9倍(5.3575/2.8271)。依(1) f02_t12.B1850CN@NUWA效能測試結果預估,其模擬速度應該至少可達6.5 days/ simulated year及5.7 days/ simulated year。(10.91/1.68)

    針對需求(a)部份,若每組測試均使用768 CPU-core,預估將至少要花費10,400 天(200 * 8 * 6.5)才能完成。因此若要能在1 年內完成共1,600 組的模擬分析測試,則至少需有28 組測試同時進行(10,400 / 365),也就是說,至少要有21,504 CPU-core (28 * 768)才能如期完成。

    至於需求(b)部份則可以分為二個部份。CEMS 部份,同樣若每組測試使用768 CPU-core,要能同時完成4 組連續30 年之模擬測試,其至少需要780 天(4* 30 * 6.5)。假設系統可同時執行四組768 CPU-core 的測試,其最快也要6.5個月方能完成。

    至於HiRAM2 部份,目前只有一組測試資料,其針對C360 (0.25°)使用216組計算核心在NUWA 的效能為8.795 days/simulated year,因此若要同時完成4 組連續30 年之模擬測試所需時間大約是8.8 個月。當使用768 組計算核心時,在NUWA 上最理想的情況大約要4個月方能完成。

    若假設在新系統上其整體效能為NUWA 的1.6倍來估預估,C360 部份大約2.5個月可完成。至於C720 (0.125°),由於其資料量為C360 的4 倍,但期間會降為連續15 年,因此其至少需要5個月的時間。故HiRAM2 部份,若以四組768 CPU-core 同時執行合計約7.5個月的時間才能完成。

    綜合以上所述,需求(b)部份,在同時使用4 組768 組計算核心時,合計大約需時14個月。

     

經費需求

本計畫將租用國網中心電腦進行大量計算,根據國網中心的估價,在本計畫進行最大量計算時(第3-4 年),年費用大約800 萬元,預估第1-5 年每年所需電腦使用費如下:500 萬元、500 萬元、800 萬元、800 萬元、500 萬元。


資料儲存系統需求說明

由於氣象局將負責收集NCEP CFSR 資料,本計畫將以收集CMIP5、ERAC-LIM資料與儲存模擬資料為主。CMIP5 的氣候變遷實驗數量與資料長度遠比CMIP3 多且大(圖7.1)。從圖7.2 整理出來的數據顯示CMIP5 資料量將高達數Petabytes。ERA-20C資料將於2014 年完成,資料量也將高達1062 terabyte(圖7.3)。本計畫無法也不需下載所有資料,即使如此,資料量也將高達數百terabytes,再加上本計畫產出的氣候模擬資料與其它可能的氣候變遷資料,預估本計畫所需之資料儲存系統將需要有1petabytes 的儲存量。
 

經費需求:

本計畫將購置至少500 terabytes 資料儲存系統,約需1300 萬元,將分兩年於第二、三年購置,每年約需650 萬元。

圖7.1 CMIP5 長期氣候變遷(上)與年代預報(下)的實驗設計。


圖7.2 CMIP5 資料量估計


圖7.3 ERA-CLIM 計劃將產出的氣候重分析(包括ERA-20C)資料量估計。

  • 逐年之工作時程:



      • 第一年: 

        1. 整理中研院環境變遷中心已經收集之 CMIP3 資料。
        2. 下載 20 Century Reanalysis 與CMIP5 資料。
        3. 建置氣候變遷資料庫服務網站。
        4. 建置氣候變遷模擬資訊網站,提供模式資訊與程式。
        5. 向國網中心申請計算資源,提供子計畫計算資源。 


      • 第二年: 

        1. 整理與維護已經收集的氣候變遷資料與氣候模擬資料。
        2. 下載 CMIP5 資料。
        3. 維護氣候變遷資料庫服務網站與候變遷模擬資訊網站的正常運作與更新。
        4. 資料儲存系統之購置、裝置與正常運作之維護。
        5. 作為整合計畫與國網中心的溝通平台,提供子計畫計算資源。
        6. 提供資料與協助模式之順利計算。


    • 第三~五年: 

      1. 整理與維護已經收集的氣候變遷資料與氣候模擬資料。
      2. 持續下載 CMIP5 資料,下載ERA-CLIM 資料。
      3. 維護氣候變遷資料庫服務網站與候變遷模擬資訊網站的正常運作與更新。
      4. 資料儲存系統之購置、裝置與正常運作之維護。
      5. 作為整合計畫與國網中心的溝通平台,提供子計畫計算資源。
      6. 提供資料與協助模式之順利計算。
附件:

banner01