1 簡介

　　有限元方法基本思想的提出，可以追溯到1943年R. Courant的工作，但由于當時沒有求解大型聯立方程的計算工具，這種方法在長期內沒有實際應用。到60年代，由于電子計算機的廣泛使用，有限元法開始得到快速發展。有限元法到現在40多年的發展，應用領域也從航空，拓展到航天、汽車、船舶、核能、兵器、電子等各個行業;從彈性材料問題，拓展到塑性、粘彈性、粘塑性、復合材料等問題。有限元方法的數值模擬已經成為現代重要工程設計必須的環節。

　　幾乎在有限元法快速發展的同時，結構力學的優化理論也開始快速發展。雖然1854 年J.C. Maxwell和1905年J.H. Mitchell已經開始研究桁架的最優布局，但直到20世紀60年代初，利用電子計算機的現代結構優化理論與方法的出現，結構優化才真正在工程中開始應用。首先也是在航空業得到應用，然后推廣到汽車、建筑等行業。目前，結構優化商業軟件也已經比較成熟，尤其在線彈性結構優化方面。

　　由于復雜非線性結構有限元計算本身需要大量的硬件資源，很長時間才能完成一次有限元計算。這導致計算時間成為工程優化的主要障礙之一，使得復雜非線性結構的優化目前還僅處于學術研究階段，無法實際應用于工程項目。Altair公司與中科院超算中心合作，將Altair公司的RADIOSS軟件安裝在中科院超算中心的深騰7000超級計算機上，首次在國內于8分19秒完成100萬單元的整車正面80ms碰撞分析，這為未來進行復雜非線性結構的優化鋪平了道路。

　　2 RADIOSS顯式方法高級功能

　　RADIOSS是Altair公司統一的多學科有限元求解器，具有顯式、隱式求解功能，擁有拉格朗日、歐拉、ALE、SPH 等算法，及有限元、有限體積、邊界元等數值處理技術，可以求解結構線性、非線性，流體，流固耦合，多體動力學等問題。相比傳統的隱式線性求解器，RADIOSS提供多種最新單元格式和嚴格的模型檢查功能，采用最新的數值計算方法和并行算法，從而確保了更高的仿真精度和更快的計算速度，得到客戶的廣泛認可。在許多汽車OEM廠商，如通用、菲亞特等，RADIOSS已經成功替代了傳統的線性求解器。相比其他顯式求解器，RADIOSS在并行計算的線性加速比，不同平臺的計算結果可重復性，以及多域求解控制等方面具有優勢，并且具有許多自己獨特的、工業界驗證的材料模型、失效模型和接觸模型，在汽車、機車碰撞安全分析，飛機鳥撞和迫降，軍工爆破穿甲等領域得到了大量的應用。本文運用了RADIOSS顯式有限元方法進行高非線性的汽車碰撞分析。

　　2.1 高級質量縮放

　　為了加快計算，在工程應用的時間內得到合理的結果，顯式有限元分析常常會應用質量縮放(mass scaling)方法，在一些時間步長較小的單元節點上增加質量，以此來增加模型求解的時間步長，從而加快計算。在動力學分析中，慣性力是很重要的一個影響因素。但是在質量變化不大的情況下，慣性力的影響也在可接受的范圍內。所以額外增加的質量不能太大，也不能增加在關鍵的部位以致影響了局部變形結果，使用時需要分析人員來判斷。

　　為了進一步加快計算，研究人員通過分析，提出了選擇質量縮放技術(selective mass scaling)[4]。Altair公司發展了這個方法，將發展后的方法集成在RADIOSS軟件中，稱其為高級質量縮放(advanced mass scaling)。RADIOSS中的高級質量縮放的基本思想，是通過修改質量矩陣非對角項來提高時間步長。在通常的顯式分析中，高頻的能量不多，在這個區域人工增加質量，在不顯著改變低頻的結構響應的情況下，可以大幅度提高時間步長。使用高級質量縮放可以提供更高的并行可擴展性，對低頻影響很小，可以應用于整車碰撞仿真中。雖然這一方法同時也會因為需要做非對角質量矩陣的求逆消耗一部分計算時間，但總體而言，通常可以將時間步長提高10到20倍。

　　2.2 Hybrid-MPP

　　目前顯式有限元方法在求解大規模問題時，通常采用MPP(Massive parallel processing)方法。這種方法利用了多個計算節點(node)，每個計算節點的每個核(core)啟動一個進程，進程之間通過MPI方式進行通信。

　　隨著多核處理器被越來越多的應用于計算集群，在每個CPU內部仍然使用MPI通信顯然浪費了CPU內部架構的快捷，上述MPP方式不能完全利用多核CPU的硬件資源。Altair公司在RADIOSS v11版本中使用Hybrid-MPP并行計算方法，這種方法就完全利用了現有的多核處理器的功能。Hybrid-MPP并行模式在每一個獨立的節點上使用OpenMP方式進行通信，在節點之間通過MPI的方式進行通信。通過使用優化的消息傳遞機制有效減少節點和節點之間、節點內部的消息量，從而在大規模的并行計算中有效發揮現有硬件架構的整體性能。

　　圖1 RADIOSS的Hybrid-MPP示例：每個節點2個SMP線程

　　圖1為RADIOSS v11版本中使用Hybrid-MPP并行計算示例。每個節點(Node)共享內存(對應M1,M2)，每一個計算節點由2個CPU組成(對應Socket1,Socket2)，而每一個CPU又有2個核(對應C1,C2)，所有獨立的計算節點通過快速交換網絡設備進行互聯。

　　3 本文采用的硬件環境

　　中科院超級計算中心(簡稱中科院超算中心)是隸屬于中國科學院計算機網絡信息中心(CNIC)的支撐服務單位，主要從事超級計算機的運行維護、并行計算的研究、實現及其應用服務與技術支持，為大規模計算復雜技術和商業應用提供解決方案。中心面向科學院乃至社會提供盡可能強的高性能計算能力和技術支持，為用戶提供7*24小時穩定計算服務，從2009年6月正式運行至今，已累計提供計算機時超過51,121,788.4 CPU?Hours。

　　- 中心擁有的深騰7000在2008年11月全球top500的超級計算機排名中，排名第19。

　　- 實現了1240個2-way薄結點和140個4-way厚結點的協同計算

　　- 國內第一個實際性能突破每秒百萬億次的異構機群系統

　　- 成功實現了基于1428個無盤結點的機群系統

　　- 世界上規模最大的一個結點無盤啟動的機群系統

　　- 在線、近線、離線存儲容量超過PB級

　　- 國內第一個實現PB級別的三級結構海量存儲系統的機群系統

　　深騰7000百萬億次高性能計算機采用混合結構的高性能計算集群架構，由采用Intel Xeon處理器的集群部分與采用Intel Itanium2處理器的胖節點部分組成，適于不同的應用計算。本次測試采用Intel Xeon處理器的集群部分。集群部分包括認證服務器、前端機、管理節點、登陸節點、啟動節點、I/O節點、備份節點和計算節點。其中，計算節點包括刀片和厚節點，配置如下：

　　- 指令字長：64位

　　- 1140個普通(刀片)節點，每個刀片配置兩顆四核Xeon處理器E5450，主頻3.00GHz，32GB內存

　　- 38個厚節點，IBM X3950M2服務器，每個厚節點配置16顆四核Xeon處理器X7350，主頻2.93GHz，512GB內存

　　- 12個可視化節點(采用機架式服務器)，2顆Intel Xeon E5450，32GB內存，Nvidia 9800GTS顯卡

　　- 其它節點配置與計算刀片相同，包括2個認證服務器、2個前端機、2個管理節點、8個登錄節點、12個啟動節點、120個IO節點、2個備份節點

　　- 磁盤容量：350TB 在線+ 63TB近線+ 1PB離線(≥ 200 TB)

　　- 互連網絡：節點間采用20Gbps的Infiniband，延遲1.6 μs (≤ 3μs)

　　- I/O聚合帶寬：52GB/s (≥ 50GB/s)

　　- 操作系統：Red Hat Enterprise Linux Server release 5.1

　　- 編程語言：C、C++、Fortran、Java

　　- 并行環境：MPI、OpenMP

　　- 高性能并行文件系統: Lustre、SNFS、LPFS、GPFS

　　- 高效系統管理軟件：系統管理與監控、系統部署、作業調度等

　　- 并行程序開發環境：數學庫、中間件、開發工具等

　　- 系統功耗：434KW(空載)~608KW(滿載) (≤ 800 KW)

　　圖2 百萬億次機的硬件結構

　　4 測試結果

　　本文中將RADIOSS v11 Hybrid-MPP版本安裝在深騰7000的集群部分，利用Intel MPI進行節點間通信，求解模型為Neon模型并進行了網格細化，整個模型共有106萬單元，109萬節點。整車質量1.2噸，初始速度為12.3米/秒，計算剛性墻正面碰撞80ms，采用了高級質量縮放技術，利用128x8核計算，499秒完成整個仿真。有限元模型及變形結果如下圖所示。

　　圖3 Neon模型及仿真80ms之后的變形結果

　　5 結論

　　Altair公司與中科院超算中心合作，在國內第一次實現了在500秒內完成100萬單元的整車80ms正面碰撞仿真。

　　Altair公司是世界領先的CAE技術廠商，專注于CAE技術的開發，并將Altair公司領先的優化技術同各學科仿真相結合，將并行計算性能及與高性能計算緊密結合，力求實現真正的多學科的仿真與優化。RADIOSS求解器已經得到了世界范圍的廣泛應用，其線性求解功能是通用汽車全球的標準求解器，非線性顯式求解功能得到了福特、標志雪鐵龍等著名汽車廠商的應用。本文的測試表明，RAIDOSS的非線性顯式并行求解功能速度相當快，可并行的處理器也可達到1024核以上，非常適合大規模并行計算。

　　目前工業界的整車碰撞有限元模型在100萬到200萬單元之間，進行一次整車碰撞仿真時間在幾個小時到十幾個小時之間。這樣的時間使得整車級別的碰撞被動安全優化、穩健性設計不可能進行。

　　Altair公司與中科院超算中心下一步工作將是繼續加深合作，進一步優化RADIOSS在超級計算機上的并行效率，在超級計算機上結合Altair優化軟件進行碰撞優化及穩健性設計。

　　中科院超算中心同Altair公司以及硬件廠商共同為企業用戶提供高性能計算的高可用性平臺，可以做到：

　　1. 提供上萬核的計算能力和計算所需的大量內存，幫助企業在規定時間內完成巨大的計算問題

　　2. 提供企業所需的安全性保障，憑借嚴格的權限控制和管理制度，保證所有數據不丟失不被竊取

　　3. 降低企業的運營成本，避免昂貴的計算平臺購置和維護費用

　　4. 提供友好的用戶界面和使用方式，讓工程師可以通過web、ftp、甚至圖形界面等各種方式使用計算機群提交作業、進行前后處理和上傳下載數據，進而集中精力在計算本身而不是復雜的命令行操作。

　　通過政府或公司出資，提供專門計算中心，軟件廠商提供計算軟件，通過互聯網訪問的方式，根據企業所需快速地提供計算資源，打包租用，避免企業重復的軟硬件投資，減輕企業負擔，這也是非常有實用價值的一種“云計算”應用模式。